الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
Efficient long-video understanding with vision-language models (VLMs) is often framed as selecting informative frames or visual tokens at a fixed native resolution. We show that per-frame resolution can instead be traded for denser temporal coverage, while front-end decoding latency depends on the size of the candidate pool rather than the final token budget. An empirical study across multiple VLMs and long-video benchmarks yields three findings: dense low-resolution sampling outperforms sparse native-resolution sampling at matched token budgets; resolution-sensitive tasks benefit from selected high-resolution frames; and front-end decoding dominates wall time for hour-long videos. Motivated by these findings, we introduce LoHi, a training-free, single-pass framework that combines a dense low-resolution video stream with sparse high-resolution image frames through the VLM's native video and image pathways. LoHi-Anchor selects high-resolution frames using codec I-frame metadata, while LoHi-SemDiv uses query relevance and visual diversity over CLIP features. Across three long-video benchmarks, LoHi improves average accuracy by 10.6 percentage points over the native-resolution baseline at a matched token budget and by 5.2 percentage points over the strongest prior efficiency method. It also reduces front-end decoding latency by up to 7x on hour-long videos. Project page: https://sixundong.com/projects/lohi
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Dong, S., Li, W., Deng, A., Qian, Q., Zhu, V., Ji, Z., & Chen, C. (2026). إعادة التفكير في كفاءة الفيديو الطويل: منظور التخصيص المشترك للإطارات والبكسلات وزمن الاستجابة في الواجهة الأمامية. https://omanscience.com/ar/articles/rethinking-long-video-efficiency-a-joint-allocation-perspective-on-frames-pixels-and-front-end-latency
MLA 9
Dong, Sixun, et al. "إعادة التفكير في كفاءة الفيديو الطويل: منظور التخصيص المشترك للإطارات والبكسلات وزمن الاستجابة في الواجهة الأمامية." https://omanscience.com/ar/articles/rethinking-long-video-efficiency-a-joint-allocation-perspective-on-frames-pixels-and-front-end-latency.
شيكاغو (المؤلف–التاريخ)
Dong, Sixun, Wei Li, Andong Deng, Qi Qian, Victor Zhu, Zhengping Ji, and Chen Chen. 2026. "إعادة التفكير في كفاءة الفيديو الطويل: منظور التخصيص المشترك للإطارات والبكسلات وزمن الاستجابة في الواجهة الأمامية." https://omanscience.com/ar/articles/rethinking-long-video-efficiency-a-joint-allocation-perspective-on-frames-pixels-and-front-end-latency.
هارفارد
Dong, S., Li, W., Deng, A., Qian, Q., Zhu, V., Ji, Z. and Chen, C. (2026) 'إعادة التفكير في كفاءة الفيديو الطويل: منظور التخصيص المشترك للإطارات والبكسلات وزمن الاستجابة في الواجهة الأمامية', Available at: https://omanscience.com/ar/articles/rethinking-long-video-efficiency-a-joint-allocation-perspective-on-frames-pixels-and-front-end-latency.
فانكوفر
Dong S, Li W, Deng A, Qian Q, Zhu V, Ji Z, et al. إعادة التفكير في كفاءة الفيديو الطويل: منظور التخصيص المشترك للإطارات والبكسلات وزمن الاستجابة في الواجهة الأمامية. https://omanscience.com/ar/articles/rethinking-long-video-efficiency-a-joint-allocation-perspective-on-frames-pixels-and-front-end-latency
IEEE
S. Dong, W. Li, A. Deng, Q. Qian, V. Zhu, Z. Ji, and C. Chen, "إعادة التفكير في كفاءة الفيديو الطويل: منظور التخصيص المشترك للإطارات والبكسلات وزمن الاستجابة في الواجهة الأمامية," https://omanscience.com/ar/articles/rethinking-long-video-efficiency-a-joint-allocation-perspective-on-frames-pixels-and-front-end-latency.