الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
تولّد نماذج اللغة المنتشرة المقنّعة (MDLMs) التسلسلات بالاستبدال التكراري للرموز المقنّعة بتنبؤات النموذج. وفي كل خطوة إزالة للتشويش، يختار المفكك المواضع الواثقة بما يكفي للالتزام بها. وتعتمد طرق فك الترميز القائمة عادةً على ثقة softmax، وقد تكون هذه الثقة غير معايرة. نقدم BayesER (إعادة الترتيب البايزي القائم على الإنتروبيا)، وهو إطار فك ترميز بايزي لاحق يستخدم عدم اليقين التنبؤي لتوجيه التزام الرموز. ففي BayesER، نبني توزيعاً خلفياً تقريبياً خفيفاً متمركزاً حول النقطة المدربة مسبقاً، شبيهاً بـ Laplace-LoRA دون تدريب مكيّفات LoRA. ونحسب متوسط التنبؤات عبر عينات الخلفي، ونستخدم الإنتروبيا التنبؤية لإعطاء الأولوية للمواضع الموثوقة. ونفحص كيف تؤثر التنبؤات الخلفية في ترتيب المواضع واختيار الرموز عبر معايير تشمل توليد الشيفرة والاستدلال الرياضي والتخطيط والتوليد الجزيئي. ونبيّن أن BayesER يقلل خطأ المعايرة على مستوى التسلسل، مع الحفاظ على الدقة أو تحسينها مقارنةً بمخططات فك الترميز الشائعة، بما فيها فك الترميز بعتبة الثقة. كما أن الخلفي المُلائم على مجموعة بيانات لتوليد الشيفرة يقلل خطأ المعايرة على مجموعة أخرى دون إعادة ملاءمة، مما يشير إلى أن عدم اليقين البايزي قد يوفر إشارة قابلة للنقل لفك ترميز MDLM أكثر موثوقية.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Jiang, Z., & Park, M. (2026). إعادة الترتيب البايزي القائم على الإنتروبيا لنماذج اللغة الانتشارية المعايرة. https://omanscience.com/ar/articles/bayesian-entropy-based-reordering-for-calibrated-diffusion-language-models
MLA 9
Jiang, Zhejun, and Mijung Park. "إعادة الترتيب البايزي القائم على الإنتروبيا لنماذج اللغة الانتشارية المعايرة." https://omanscience.com/ar/articles/bayesian-entropy-based-reordering-for-calibrated-diffusion-language-models.
شيكاغو (المؤلف–التاريخ)
Jiang, Zhejun, and Mijung Park. 2026. "إعادة الترتيب البايزي القائم على الإنتروبيا لنماذج اللغة الانتشارية المعايرة." https://omanscience.com/ar/articles/bayesian-entropy-based-reordering-for-calibrated-diffusion-language-models.
هارفارد
Jiang, Z. and Park, M. (2026) 'إعادة الترتيب البايزي القائم على الإنتروبيا لنماذج اللغة الانتشارية المعايرة', Available at: https://omanscience.com/ar/articles/bayesian-entropy-based-reordering-for-calibrated-diffusion-language-models.
فانكوفر
Jiang Z, Park M. إعادة الترتيب البايزي القائم على الإنتروبيا لنماذج اللغة الانتشارية المعايرة. https://omanscience.com/ar/articles/bayesian-entropy-based-reordering-for-calibrated-diffusion-language-models
IEEE
Z. Jiang, and M. Park, "إعادة الترتيب البايزي القائم على الإنتروبيا لنماذج اللغة الانتشارية المعايرة," https://omanscience.com/ar/articles/bayesian-entropy-based-reordering-for-calibrated-diffusion-language-models.