استعادة إشراف خارج السياسة لفك الترميز التخميني

الملخص

تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.

تُدرَّب مُسودّات الكتل للفك التخميني عادةً على مجموعات نصية كتبتها نماذج خارجية، حيث يُبطل رمز واحد خارج السياسة الإشراف على جميع الفتحات اللاحقة في الكتلة. وتتخلص الطرق القائمة من هذه الفتحات المنحرفة، مما يؤدي إلى فقدان شديد في الإشراف. ولحل هذه المشكلة مع الحفاظ على مجموعة التدريب، نقترح إطار تدريب قائم على التشغيلات الاستكشافية يستعيد الإشراف الكامل عبر مكونين متكاملين. المكون الأول، إعادة وسم المرساة-التسمية (ALR)، يستبدل تسميات المجموعة بتوزيعات من تشغيلات الهدف الجشعة، فيستعيد إشرافًا صالحًا عبر جميع الفتحات المتنبأ بها. والمكون الثاني، المراسي داخل التشغيل (IRA)، يضع كتل المُسوّدة داخل هذه التشغيلات مباشرةً ليعرّض المُسوّدة لسياق يولّده الهدف، معيدًا استخدام سمات التشغيل المحسوبة مسبقًا دون أي كلفة إضافية على الهدف. وعبر مجموعات بيانات ثابتة للرؤية واللغة والنص، يرفع إطارنا طول القبول الجشع بما يصل إلى 36.5% على DFlash، ويتفوق باستمرار على خطوط الأساس الماحية. والملاحظ أن حقبة واحدة من طريقتنا تتفوق على أفضل جداول المحو، وبعد ثلاث حقب تطابق طول القبول للتدريب على استجابات أعادها الهدف. وتبين هذه النتائج أن إطارنا يقدم طريقة فعالة وموفّرة للحوسبة لتدريب مُسوّدات الفك التخميني على مجموعات ثابتة دون تعديل النص الأصلي. الشيفرة متاحة على https://github.com/js-lee-AI/ALR-IRA

الكلمات المفتاحية

الموضوع