نجح باحثون في شركة ياندكس في حل مشكلة “النسيان الكارثي” للمساعدين الصوتيين
تعمل الشركات المصنعة لمكبرات الصوت الذكية ومساعدي السيارات والمساعدين الصوتيين الآخرين بانتظام على توسيع مجموعة العبارات التي تفهمها الأجهزة دون الاتصال بالشبكة. للقيام بذلك، عادة ما يتم تدريب النموذج بشكل إضافي. ولكن بعد التحديث، تبدأ الأجهزة أحيانًا في فهم الأوامر المألوفة بالفعل بشكل أسوأ. ويطلق خبراء التعلم الآلي على هذا التأثير اسم “النسيان الكارثي”. لحل هذه المشكلة، يستخدم المطورون أساليب التعلم المستمر، مثل توحيد الوزن المرن (EWC). ومع ذلك، فإنها يمكن أن تقلل من التأثير، ولكن لا تقضي عليه تماما. اقترح باحثو ياندكس طريقة مختلفة لحل مشكلة “النسيان الكارثي” – وهو امتداد معياري للنموذج. كما أنها تتطلب موارد حسابية أقل مقارنة بالطرق الأخرى، مثل التكيف منخفض الرتبة (LoRA) والمحولات. تقترح طريقة Yandex عدم تغيير الشبكة العصبية العاملة بأكملها، ولكن إضافة وحدة نمطية جديدة صغيرة – فرع إضافي قابل للتدريب مسؤول عن التعرف على الأوامر الجديدة. يستخدم الفرع الجديد الميزات التي يستخرجها النموذج الرئيسي، وبالنسبة للأوامر الجديدة فهو لديه مصنف خاص به. في هذه الحالة، لا تتغير معلمات النموذج الأساسي، بما في ذلك معلمات التسوية والمصنف الرئيسي. يستمر النموذج في التعرف على الأوامر القديمة بدقة كما كان قبل التحديث. يمكن إضافة أوامر جديدة عن طريق تدريب وحدة إضافية فقط، دون إعادة بناء النظام بأكمله. تعمل الطريقة الجديدة على زيادة حجم الشبكة العصبية بشكل طفيف فقط – بأقل من 10%. اختبر المؤلفون فعالية النهج على مجموعة بيانات Google Speech Commands المفتوحة. وفي التجارب، قاموا بتعليم النموذج أزواجًا جديدة من الأوامر، في حين لم يكن من المفترض أن يتأثر التعرف على الكلمات المألوفة بالفعل. خفضت الطريقة متوسط معدل الرفض الكاذب (FRR) من 6.46% إلى 4.37% مقارنة بنموذج مستقل بنفس الحجم. لقد تفوق النهج الجديد على المحول وأساليب LoRA. مع التدريب الإضافي الكامل المعتاد للنموذج بأكمله، تعلم الأوامر الجديدة جيدًا، لكنه تعرف على الأوامر القديمة بشكل أسوأ: ارتفع متوسط نسبة الأوامر القديمة المنسية من 2.71% إلى 69.08%. ويعتقد الباحثون أنه يمكن استخدام هذا النهج مع مكبرات الصوت الذكية والأجهزة المنزلية والمساعدين الصوتيين داخل السيارة وغيرها من الأجهزة ذات موارد الحوسبة المحدودة.
