الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
Attention encoder-decoder (AED) Speech Foundation Models achieve strong ASR performance but can generate acoustically unsupported text when inputs contain no speech, weak acoustic evidence, or unreliable transcription. We propose AURA: Activation-editing with Uncertainty-Routed Adaptation, an ultra-efficient representation-editing method that freezes the pretrained model and applies sparse scale-and-shift edits to decoder cross-attention heads. AURA dynamically routes edits using cross-attention uncertainty features that capture over-concentration, diffuse attention, and abrupt frame shifts. We evaluate AURA on four datasets spanning non-speech hallucination and speech grounding stressors, including imperfect-label child speech, imperfect-label adult speech, and disfluent speech. On non-speech audio, AURA reduces hallucination rate from 89.18% to 1.94% without prior hallucination-head identification. On imperfect-label corpora, AURA approaches LoRA WER while using roughly 500x fewer trainable parameters. Sensitivity analysis and qualitative cross-attention examples are consistent with AURA's uncertainty-routed editing behavior, supporting dynamic activation editing as a practical path for grounding AED speech models.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Shankar, N. B., Wang, Z., Wang, Z., Shi, M., Zhang, K., & Alwan, A. (2026). AURA: تحرير التنشيط الموجَّه بعدم اليقين للتأريض الصوتي في نماذج الأساس للكلام. https://omanscience.com/ar/articles/aura-uncertainty-routed-activation-editing-for-acoustic-grounding-in-speech-foundation-models
MLA 9
Shankar, Natarajan Balaji, et al. "AURA: تحرير التنشيط الموجَّه بعدم اليقين للتأريض الصوتي في نماذج الأساس للكلام." https://omanscience.com/ar/articles/aura-uncertainty-routed-activation-editing-for-acoustic-grounding-in-speech-foundation-models.
شيكاغو (المؤلف–التاريخ)
Shankar, Natarajan Balaji, Zilai Wang, Zihan Wang, Mohan Shi, Kaiyuan Zhang, and Abeer Alwan. 2026. "AURA: تحرير التنشيط الموجَّه بعدم اليقين للتأريض الصوتي في نماذج الأساس للكلام." https://omanscience.com/ar/articles/aura-uncertainty-routed-activation-editing-for-acoustic-grounding-in-speech-foundation-models.
هارفارد
Shankar, N. B., Wang, Z., Wang, Z., Shi, M., Zhang, K. and Alwan, A. (2026) 'AURA: تحرير التنشيط الموجَّه بعدم اليقين للتأريض الصوتي في نماذج الأساس للكلام', Available at: https://omanscience.com/ar/articles/aura-uncertainty-routed-activation-editing-for-acoustic-grounding-in-speech-foundation-models.
فانكوفر
Shankar NB, Wang Z, Wang Z, Shi M, Zhang K, Alwan A. AURA: تحرير التنشيط الموجَّه بعدم اليقين للتأريض الصوتي في نماذج الأساس للكلام. https://omanscience.com/ar/articles/aura-uncertainty-routed-activation-editing-for-acoustic-grounding-in-speech-foundation-models
IEEE
N. B. Shankar, Z. Wang, Z. Wang, M. Shi, K. Zhang, and A. Alwan, "AURA: تحرير التنشيط الموجَّه بعدم اليقين للتأريض الصوتي في نماذج الأساس للكلام," https://omanscience.com/ar/articles/aura-uncertainty-routed-activation-editing-for-acoustic-grounding-in-speech-foundation-models.