نسخة أولية وصول مفتوح
VFold: ضغط مخزن القيمة المتقاطعة المعرفة بالتناظر
في حين تسريع حالة تخزين قيمة المفتاح (KV) على تشفير نموذج اللغة الكبيرة (LLM)، يمكن لهذا التخزين السيطرة على استخدام الذاكرة عند الطول الطويل للسياق. الحل واحد هو ضغط هذه الذاكرة من خلال استغلال شبيهات التخزين بين الطبقات. ومع ذلك، فإن معظم التقنيات القائمة تتطلب تغييرات في الهندسة المعمارية لـ LLM وتتسبب في تكاليف عام …