الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
Omni-modal large language models (OmniLLMs) enable unified audio-video understanding, but their long multimodal token sequences make deployment computationally expensive. Token compression reduces this cost, yet aggressive compression often lowers accuracy. Existing works predominantly focus on designing better compression mechanisms; however, adapting the underlying language model to reason effectively over the remaining compressed context remains under-explored. To address this, we propose CAFD (Compressed-Context Adaptation via Full-Context Distillation), a ground-truth-free self-distillation framework that adapts OmniLLMs to fixed compression pipelines without requiring reference answers, rationales, or correctness rewards. CAFD leverages the full-token view of the same multimodal sample as a source of privileged information: a full-context self-teacher provides soft target supervision to a compressed-context student along the student's on-policy trajectory. Evaluated on Qwen2.5-Omni-7B across five audio-video benchmarks, five compression pipelines, and five deployment budgets, CAFD demonstrates consistent gains, improving 120 out of 125 conditions with an average accuracy boost of 1.44 points and recovering 26.9% of the accuracy gap on average. These results demonstrate that the proposed ground-truth-free adaptation offers an effective and practical route to improving the accuracy-efficiency trade-off in deployed OmniLLMs.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Wang, J., Meng, K., Li, J., Cheng, C., Qi, L., Liang, L., Qian, Y., Lai, C., Lin, Y., & Wang, Z. (2026). التعلم للاستدلال بسياق مضغوط: تكيف النماذج اللغوية البصرية الشاملة دون حقيقة أرضية عبر التقطير الذاتي. https://omanscience.com/ar/articles/learning-to-reason-with-compressed-context-ground-truth-free-adaptation-of-omnillms-via-self-distillation
MLA 9
Wang, Jianghao, et al. "التعلم للاستدلال بسياق مضغوط: تكيف النماذج اللغوية البصرية الشاملة دون حقيقة أرضية عبر التقطير الذاتي." https://omanscience.com/ar/articles/learning-to-reason-with-compressed-context-ground-truth-free-adaptation-of-omnillms-via-self-distillation.
شيكاغو (المؤلف–التاريخ)
Wang, Jianghao, Ke Meng, Jian Li, Chi Cheng, Longyu Qi, Liyin Liang, Yifeng Qian, Chunbo Lai, Yutian Lin, and Zeyu Wang. 2026. "التعلم للاستدلال بسياق مضغوط: تكيف النماذج اللغوية البصرية الشاملة دون حقيقة أرضية عبر التقطير الذاتي." https://omanscience.com/ar/articles/learning-to-reason-with-compressed-context-ground-truth-free-adaptation-of-omnillms-via-self-distillation.
هارفارد
Wang, J., Meng, K., Li, J., Cheng, C., Qi, L., Liang, L., Qian, Y., Lai, C., Lin, Y. and Wang, Z. (2026) 'التعلم للاستدلال بسياق مضغوط: تكيف النماذج اللغوية البصرية الشاملة دون حقيقة أرضية عبر التقطير الذاتي', Available at: https://omanscience.com/ar/articles/learning-to-reason-with-compressed-context-ground-truth-free-adaptation-of-omnillms-via-self-distillation.
فانكوفر
Wang J, Meng K, Li J, Cheng C, Qi L, Liang L, et al. التعلم للاستدلال بسياق مضغوط: تكيف النماذج اللغوية البصرية الشاملة دون حقيقة أرضية عبر التقطير الذاتي. https://omanscience.com/ar/articles/learning-to-reason-with-compressed-context-ground-truth-free-adaptation-of-omnillms-via-self-distillation
IEEE
J. Wang, K. Meng, J. Li, C. Cheng, L. Qi, L. Liang, Y. Qian, C. Lai, Y. Lin, and Z. Wang, "التعلم للاستدلال بسياق مضغوط: تكيف النماذج اللغوية البصرية الشاملة دون حقيقة أرضية عبر التقطير الذاتي," https://omanscience.com/ar/articles/learning-to-reason-with-compressed-context-ground-truth-free-adaptation-of-omnillms-via-self-distillation.