نسخة أولية وصول مفتوح
تعزيز كمية KV-Cache والاهتمام الخطي: من النظرية إلى الهجرة الوزن المسبق للتدريب
كوانتيزة KV-Cache والاهتمام الخطي هما طريقتان ممثلتين لمعالجة تكاليف تخزين وتحاسب Transformers. يضغط كمية KV-Cache على إدخالات KV الفردية إلى رموز منفصلة ولكنها تحتفظ بجميع الإدخالات، في حين أن الاهتمام الخطي يجمع بشكل متكرر العديد من مساهمات KV التاريخية إلى حالة مستمرة ذات الحجم الثابت ولكن يمكن أن تدخل التداخل. هذا …