الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
تعاني نماذج الكلام واللغة الكبيرة غالباً من الإفراط في التكيف مع الموجّه، إذ تفشل النماذج المدربة فقط على تعليمات التعرف الآلي على الكلام (ASR) في التعميم على تعليمات جديدة مثل الترجمة الكلامية، وتستمر في التصرف كنظام ASR. نقترح DirectSpeech2LLM، وهو إطار بسيط شامل يحافظ على قدرة نموذج اللغة الكبير على اتباع التعليمات في المهام غير المرئية عند تقديم الكلام. ويحسب خسارة CTC القائمة على المسافة فوق مصفوفة التضمين المجمدة للنموذج اللغوي، ويستخدم تسميات CTC الجشعة لاشتقاق تضمينات كلامية متوافقة هندسياً وزمنياً على التوالي، لتكون مدخلاً للنموذج اللغوي. وبالتدريب فقط على 960 ساعة من بيانات LibriSpeech للتعرف الآلي، يتفوق DirectSpeech2LLM على النظام المتسلسل في ASR (وهي المهمة المرئية)، ويعمم دون أمثلة على الترجمة الكلامية والتعرف على العاطفة (مهمتان غير مرئيتين)، مقارباً الحد الأعلى للنظام المتسلسل في هاتين التعليمتين الجديدتين رغم أنه لم يرَ أيّاً منهما أثناء التدريب. ونجد أيضاً أن قوة المحاذاة الهندسية تلعب دوراً أصغر مما كان مفترضاً، إذ تبين أن خسارة CTC المعدلة توفر تأسيساً هندسياً ضمنياً كافياً دون الحاجة إلى خسارة انحدار صريحة. وتبقى النتائج متسقة عبر عائلتين من نماذج اللغة، وتتوسع مع مزيد من بيانات التدريب والسعة النموذجية معاً.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Yadav, H., Sitaram, S., Zimmermann, R., & Shah, R. R. (2026). DirectSpeech2LLM: إطار بسيط من البداية إلى النهاية لتخفيف الإفراط في ملاءمة الموجّه في نماذج الكلام-اللغة الكبيرة. https://omanscience.com/ar/articles/directspeech2llm-a-simple-end-to-end-framework-to-mitigate-prompt-overfitting-in-speech-llms
MLA 9
Yadav, Hemant, et al. "DirectSpeech2LLM: إطار بسيط من البداية إلى النهاية لتخفيف الإفراط في ملاءمة الموجّه في نماذج الكلام-اللغة الكبيرة." https://omanscience.com/ar/articles/directspeech2llm-a-simple-end-to-end-framework-to-mitigate-prompt-overfitting-in-speech-llms.
شيكاغو (المؤلف–التاريخ)
Yadav, Hemant, Sunayana Sitaram, Roger Zimmermann, and Rajiv Ratn Shah. 2026. "DirectSpeech2LLM: إطار بسيط من البداية إلى النهاية لتخفيف الإفراط في ملاءمة الموجّه في نماذج الكلام-اللغة الكبيرة." https://omanscience.com/ar/articles/directspeech2llm-a-simple-end-to-end-framework-to-mitigate-prompt-overfitting-in-speech-llms.
هارفارد
Yadav, H., Sitaram, S., Zimmermann, R. and Shah, R. R. (2026) 'DirectSpeech2LLM: إطار بسيط من البداية إلى النهاية لتخفيف الإفراط في ملاءمة الموجّه في نماذج الكلام-اللغة الكبيرة', Available at: https://omanscience.com/ar/articles/directspeech2llm-a-simple-end-to-end-framework-to-mitigate-prompt-overfitting-in-speech-llms.
فانكوفر
Yadav H, Sitaram S, Zimmermann R, Shah RR. DirectSpeech2LLM: إطار بسيط من البداية إلى النهاية لتخفيف الإفراط في ملاءمة الموجّه في نماذج الكلام-اللغة الكبيرة. https://omanscience.com/ar/articles/directspeech2llm-a-simple-end-to-end-framework-to-mitigate-prompt-overfitting-in-speech-llms
IEEE
H. Yadav, S. Sitaram, R. Zimmermann, and R. R. Shah, "DirectSpeech2LLM: إطار بسيط من البداية إلى النهاية لتخفيف الإفراط في ملاءمة الموجّه في نماذج الكلام-اللغة الكبيرة," https://omanscience.com/ar/articles/directspeech2llm-a-simple-end-to-end-framework-to-mitigate-prompt-overfitting-in-speech-llms.