DiffuPlex: تسريع نماذج الحوار المتحدث بالكامل المزدوج عن طريق الانتشار المقنع

الملخص

تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.

تمكن النماذج الحديثة الكاملة المتكلمة من الاستماع والتحدث في وقت واحد، ولكن النماذجة الدقيقة لا تزال تقدم العمود الفقري بشكل مستقل في كل إطار تفاعل. نقوم بتقديم DiffuPlex، إطار انتشار مخفي يقلل من هذا الحساب التسلسلي عن طريق توقع العديد من الإطارات المستقبلية للمستخدمين والمساعدين يستهلك DiffuPlex فقط مقدمة مؤكدة لكل مستقبل متوقع بينما تستمر التفاعل بمعدل الإطار الأصلي. عندما يصل خطاب المستخدم، فإنه يتحقق من التنبؤات المقابلة للمستخدم، وعندما تختلف التفاعل، يحفظ المحتوى المساعد الذي تم تشغيله بالفعل مع مراجعة المستقبل غير المتسجل فقط. نأخذ في الاعتبار سياستين استنتاجية على نفس المتوقع: يستهلك DiffuPlex-LISTEN عدة إطارات مستقبلية عندما يتوقعون المساعد silence، بينما يمكن لDiffuPLEX-SPEAK أيضًا استهلاك خطاب مساعد متوقع. عبر التفاعل المزدوج الكامل وتقييمات اللغة المتحدثة، يقلل DiffuPlex بشكل كبير من الحسابات المتسلسلة للعمود الفقري مع الحفاظ إلى حد كبير على سلوك التفاعل والقدرة العامة. تصل DiffuPlex-LISTEN وDiffuPLEX-SPEAK إلى 1.46$\times$ و1.59$ \times$ speedups لتشغيل المسار الحائط للساعة و1.61$\times $ و1.80$ \times $ Core LM speedups، مع إكمال جميع عمليات تقييم العمود الفقري داخل فترة تفاعل 80ms. تظهر التقييم البشري أن LISTEN تحافظ على طبيعة الكلام ونوعية المحادثة، في حين أن SPEAK تحتفظ بجودة المحادثة مع بعض التدهور في طبيعة الكلمة.

الكلمات المفتاحية

الموضوع