الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
In LLM-based speech translation, transcription-based chain-of-thought (CoT) suffers from a mismatch between reference transcripts used in supervised fine-tuning (SFT) and model-generated transcripts at inference. To address this, we propose joint recognition and translation fine-tuning via group relative policy optimization (GRPO). We score both transcripts and translations, with translation conditioned on model-generated transcripts, and compare three token advantage strategies. Using Qwen2.5-Omni-3B across four languages, we evaluate CoT against direct speech translation (Direct ST) under SFT and GRPO, training on CoVoST 2 and testing on CoVoST 2 and FLEURS. CoT GRPO outperforms Direct ST GRPO by 1.77 and 0.83 average BLEU points on CoVoST 2 and FLEURS. Compared to CoT SFT, GRPO boosts BLEU by 0.82 and 0.67 points and reduces word error rate (WER) by 8.8% and 7.2% relatively. These results highlight reinforcement fine-tuning as an effective method to mitigate the training-inference mismatch, jointly improving recognition and translation.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Dong, Y., Huang, W., & Wang, W. (2026). النسخ والترجمة والتحسين: تعلم مكافأة مشترك للترجمة الكلامية. https://omanscience.com/ar/articles/transcribe-translate-and-optimize-joint-reward-learning-for-speech-translation
MLA 9
Dong, Yanghe, et al. "النسخ والترجمة والتحسين: تعلم مكافأة مشترك للترجمة الكلامية." https://omanscience.com/ar/articles/transcribe-translate-and-optimize-joint-reward-learning-for-speech-translation.
شيكاغو (المؤلف–التاريخ)
Dong, Yanghe, Wanting Huang, and Weiran Wang. 2026. "النسخ والترجمة والتحسين: تعلم مكافأة مشترك للترجمة الكلامية." https://omanscience.com/ar/articles/transcribe-translate-and-optimize-joint-reward-learning-for-speech-translation.
هارفارد
Dong, Y., Huang, W. and Wang, W. (2026) 'النسخ والترجمة والتحسين: تعلم مكافأة مشترك للترجمة الكلامية', Available at: https://omanscience.com/ar/articles/transcribe-translate-and-optimize-joint-reward-learning-for-speech-translation.
فانكوفر
Dong Y, Huang W, Wang W. النسخ والترجمة والتحسين: تعلم مكافأة مشترك للترجمة الكلامية. https://omanscience.com/ar/articles/transcribe-translate-and-optimize-joint-reward-learning-for-speech-translation
IEEE
Y. Dong, W. Huang, and W. Wang, "النسخ والترجمة والتحسين: تعلم مكافأة مشترك للترجمة الكلامية," https://omanscience.com/ar/articles/transcribe-translate-and-optimize-joint-reward-learning-for-speech-translation.