نسخة أولية وصول مفتوح
تفصيل فضاء التكميم لضغط ذاكرة KV ذات البت الواحد
تصبح ذاكرة المفتاح-القيمة (KV) عنق زجاجة رئيسيًا للذاكرة في استدلال النماذج اللغوية ذات السياق الطويل، مما يضغط بشدة على سعة الذاكرة وعرض النطاق. ولتخفيف هذا العنق ظهر التكميم المتجهي (VQ) نهجًا واعدًا لضغط ذاكرة KV بشدة. غير أن طرق VQ القائمة تتدهور كثيرًا في نظام البت الواحد. فعند هذا الضغط الشديد يجب أن يمثل كل كتاب …