نسخة أولية وصول مفتوح
AlignQuant: تكميم مختلط الدقة مُحاذى مع البلاطات لتوليد نماذج اللغة الكبيرة بكفاءة
يعد التكميم متعدد الدقة الدقيق بالاستدلال الفعّال لنماذج اللغة الكبيرة، لكن اختيارات الدقة المحلية قد تتعارض مع وحدات التخزين والحوسبة المنتظمة في GPU. ويحد هذا التعارض بين حدود الدقة من تحويل الضغط إلى تسريع عملي. نقدم AlignQuant، وهو طريقة تكميم بعد التدريب تستخدم بلاطات أوزان ثنائية الأبعاد متوافقة مع GPU وحدةً مشتر …