قياس وتقليل عدم التطابق بين البائعين في نماذج اللغة

الملخص

تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.

يمكن لتشغيل النموذج اللغوي نفسه على وحدات معالجة رسومية (GPU) من شركات مختلفة أن ينتج قيم logits مختلفة، حتى مع تطابق أوزان النموذج والمدخلات. نحلل عدم التطابق بين الشركات في نموذجين كثيفين ونموذجين من خليط الخبراء (MoE) بخمس عائلات من المقاييس: التساوي بت بت، وفروق logits، والاتساق عند أعلى-K، والتوافق في الرموز، والدقة في المهام. ونتتبع أحد مصادر عدم التطابق إلى ترتيب التراكم داخل تعليمات المصفوفات لدى كل شركة. ويقلل رفع الدقة إلى FP32 خطأ logits للنموذج الكثيف بنسبة 43% بتكلفة زمن تشغيل تبلغ ثلاثة أضعاف، لكن الإبقاء على طبقات MLP فقط بدقة BF16 يحتفظ بـ94% من هذا المكسب بتكلفة 1.3 مرة من زمن التشغيل، فمعظم كلفة الرفع الكامل لا تشتري إلا القليل. وفي نموذجي MoE، يخفض كل من FP32 وFP16 خطأ الاحتمال لكنهما يرفعان خطأ logits ويغيّران اختيار الخبراء، ويفشل FP16 في النموذج الكثيف. ولا يساعد كذلك مُكيّف LoRA منخفض الرتبة في رأس الخرج، لأن الحالة المخفية النهائية لا تتنبأ بعدم التطابق. ويمتد عدم التطابق إلى التدريب أيضاً: فمع تثبيت كل البذور، يجيب طالب استُقطِّر من معلم يعمل على AMD عن 431 سؤالاً من MMLU بشكل مختلف عن طالب استُقطِّر من المعلم نفسه على NVIDIA. وتحت رفع الدقة إلى FP32، يتغير التساوي بت بت بالكاد، بينما تقترب توزيعات الخرج كثيراً من المرجع، لذلك فإن الحكم على التوافق بين الشركات بمقياس واحد يسيء قراءة كلفته ومكاسبه. الشيفرة متاحة على: https://github.com/crova-project/crova

الكلمات المفتاحية

الموضوع