نسخة أولية وصول مفتوح
تحليل أساس منخفض الرتبة مشترك لضغط خليط الخبراء دون بيانات
تفصل نماذج اللغة الكبيرة ذات الخبراء المختلطين (MoE) بين السعة والحوسبة عبر التوجيه المتناثر، لكن عدد معلماتها الكبير يخلق تحديات في التخزين والتقديم. نحلل ثلاث عائلات لضغط MoE: تقليم الخبراء، ودمج الخبراء، وإعادة بناء الأوزان، ونشتق حدوداً بنيوية للخطأ تبين أن التقليم والدمج قد يتحملان أخطاء غير متلاشية مرتبطة بالتوجي …