(DivMoE): إعادة تدوير (Fine-Grained MoE Upcycling) من خلال تشكيل الخبراء عبر المجالات

الملخص

تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.

أصبحت معمارات مزيج من الخبراء (MoE) ضرورية لتنمية نماذج اللغة الكبيرة، حيث أظهرت الأبحاث الأخيرة فوائد تصميم الخبراء ذو الحبوب الدقيقة. التدريب على هذه النماذج من الصفر مكلف، والتدوير الرخيص من الأنماط الكثيفة التي تم تدريبها مسبقا هو بديل جذاب. ومع ذلك، فإننا حددنا مرضية هيكلية للتدوير الدقيق: عندما يتم استنباط الخبراء الدقيقين من نموذج مصدر واحد، ينهار التوجيه السذاجة وتنخفض دقة أسفل المياه إلى حالة عشوائية تقريبًا (على سبيل المثال، في Qwen3-1.7B، يصل متوسط دقة Drop-Upcycling-fine-grained إلى 23.2% فقط عبر 15 معيارًا مقارنًا، مما يعادل بشكل أساسي التدريب من البداية عند 22.2%. في حين أن النوع الخام للطريقة نفسها يصل إلى 50.2٪). ونحن نقترح DivMoE، وهو الإطار الأول لتحقيق تحديث الحجم الدقيقة من MoE مع التوجيه الموازن بناءً على الهيكل. يقدم DivMoE بداية الخبراء المتخصصين في مجال الحجم الدقيق، حيث يستخرج الخبراء من النماذج الكثيفة التي خضعت للتدريب المستمر المسبق لتكيف المجالات، والتوجيه القييد على التنوع، وهو قيود هيكلي صعب يضمن أن كل رمز يقوم بتفعيل خبراء من مجموعات مجالات مختلفة. عبر اثنين من النماذج الأساسية و 15 مقارنة، تتفوق DivMoE باستمرار على ست خطوط أساسية لإعادة التدوير (55.6٪ مقابل 51.6٪ لأقوى خط أساسي على Qwen3-1.7B) وتتحسن بشكل صارم على نموذج القاعدة الكثيفة في كل مقارنة بعد مرحلة 2 الاستمرارية للتدريب المسبق - تغلق فجوة التراجع التي تعاني من إعادة تدوير الحبوب الدقيقة السابقة. بعد التحسينات المراقبة على خليط التفكير العام، نموذج DivMoE لدينا بمعيار 12B يتطابق مع Moonlight-MoE (16B) بدقة متوسطة 64.5% بينما يتفوق على خط أساسي NVIDIA-Upcycling المسيطر عليه بنسبة 6.1 نقطة مئوية.

الكلمات المفتاحية

الموضوع