الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
While draft-model-free speculative decoding offers a promising path to efficient LLM inference, it is frequently constrained by stale draft candidates and the high computational cost of the verification. To address these challenges, we propose ECHO, a hierarchical dual-loop framework that exploits the functional asymmetry between LLM layers. Leveraging the high discriminative efficiency of early layers and the authoritative distribution of final layers, ECHO bifurcates inference into a high-frequency inner loop and a low-frequency outer loop. Within the inner loop, early-layer bonus logits drive rapid, multi-step draft-tree exploration at a minimal cost. Simultaneously, the outer loop performs authoritative full-model verification through a state-reuse mechanism. Crucially, the outer loop also utilizes final-layer bonus logits to correct existing paths and supplement the tree with high-confidence candidates for subsequent cycles. Experimental results across diverse benchmarks demonstrate that ECHO significantly boosts mean accepted tokens and achieves a 2.4$\times$ to 2.9$\times$ speedup, outperforming existing state-of-the-art baselines with negligible engineering overhead and no extra deployment parameters, albeit with a one-shot fine-tuning dependency for optimal acceleration. The code is available at https://github.com/whucs21Mzy/ECHO.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Ma, Z., Zhang, Z., Li, Z., Zhang, L., Qi, B., Li, S., & Yu, S. (2026). ECHO: التنسيق التعاوني الهرمي للطبقات المبكرة مع لوغيتات المكافأة في فك الترميز التخميني. https://omanscience.com/ar/articles/echo-early-layer-collaborative-hierarchical-orchestration-with-bonus-logits-in-speculative-decoding
MLA 9
Ma, Ziyang, et al. "ECHO: التنسيق التعاوني الهرمي للطبقات المبكرة مع لوغيتات المكافأة في فك الترميز التخميني." https://omanscience.com/ar/articles/echo-early-layer-collaborative-hierarchical-orchestration-with-bonus-logits-in-speculative-decoding.
شيكاغو (المؤلف–التاريخ)
Ma, Ziyang, Zihong Zhang, Zuchao Li, Lefei Zhang, Baoyuan Qi, Siqi Li, and Simin Yu. 2026. "ECHO: التنسيق التعاوني الهرمي للطبقات المبكرة مع لوغيتات المكافأة في فك الترميز التخميني." https://omanscience.com/ar/articles/echo-early-layer-collaborative-hierarchical-orchestration-with-bonus-logits-in-speculative-decoding.
هارفارد
Ma, Z., Zhang, Z., Li, Z., Zhang, L., Qi, B., Li, S. and Yu, S. (2026) 'ECHO: التنسيق التعاوني الهرمي للطبقات المبكرة مع لوغيتات المكافأة في فك الترميز التخميني', Available at: https://omanscience.com/ar/articles/echo-early-layer-collaborative-hierarchical-orchestration-with-bonus-logits-in-speculative-decoding.
فانكوفر
Ma Z, Zhang Z, Li Z, Zhang L, Qi B, Li S, et al. ECHO: التنسيق التعاوني الهرمي للطبقات المبكرة مع لوغيتات المكافأة في فك الترميز التخميني. https://omanscience.com/ar/articles/echo-early-layer-collaborative-hierarchical-orchestration-with-bonus-logits-in-speculative-decoding
IEEE
Z. Ma, Z. Zhang, Z. Li, L. Zhang, B. Qi, S. Li, and S. Yu, "ECHO: التنسيق التعاوني الهرمي للطبقات المبكرة مع لوغيتات المكافأة في فك الترميز التخميني," https://omanscience.com/ar/articles/echo-early-layer-collaborative-hierarchical-orchestration-with-bonus-logits-in-speculative-decoding.