نسخة أولية وصول مفتوح
الآثار المحددة للغة لخيار Tokenizer في نماذج اللغة متعددة اللغات
يؤثر اختيار Tokenizer على نمذجة اللغة متعددة اللغات، ولكن قدرة المفردات محدودة وحجم المفردة غالبا ما تكون مقيدة: تحسين التمثيل لبعض اللغات غالبًا ما يأتي على حساب آخرين. لذلك نسأل ما إذا كان اختيار الـ Tokenizer يهم على قدم المساواة بين اللغات، وهو سؤال يترك الأدب الحالي دون إجابة. لهذا الغرض، نحن نعمل على تدريب 123 نم …