الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
تقليل الحالات المكثفة لـ AdamW يقلل من التخزين المستمر، ولكن أخطاء الكمية تنتشر عبر تكرارات اللحظة وتزعزع التحديثات التكيفية اللاحقة. نقوم بإعادة تصميم تحسين الحالة الكمية لـ 4 بتات لـ AdamW من منظور \emph{المساحة المتديرة}: الإحداثيات التي يختار فيها المُعدل بين مستويات إعادة الإعمار المجاورة. في اللحظة الثانية، يظهر تحليل محلي للخلية الكمية المجاورة إلى الصفر أن الخطأ المتوسط الصغير في الحالة لا يجب أن يعني خطئ متوسط صغير من قبل المشروط في الخطوة التالية. يظهر البناء التربيعي الأبعادي الواحد أيضاً ديناميكيات التحسين المختلفة نوعياً تحت استدلال الفضاء الحالي والفضاء المسبق. هذه النتائج تحفز التجول الستوكاستيكي (\textbf{ZIP-SR})، الذي يحافظ على الصفر في كتاب التعليمات للحظة الثانية ويحسب احتمالات تجول الستوقاسية في مساحة التجول. كمسار إضافي، تستخدم تصويب EDEN الصفر باستثناء (\textbf{ZE-EDEN}) كتابًا رمزيًا ثانويًا يستثني صفرًا وتقوم بإعادة تعديل كتلة الثانية المحددة كمية للتخفيف من تشويه المشروطات السابقة الناجمة عن قاع الكميات الإيجابية. تستخدم كلتا التكوينات 4 بتات NormalFloat (NF4) للحظة الأولى، مع استديرة استوتشستية مستهدفة لحظة أولى من رأس LM خلال 10\% الأخيرة من التدريب. عبر تجارب ما قبل التدريب على أسلوب GPT و Llama تتراوح بين \textbf{130M} إلى \textbbf{2.7B} المعلمات، تقلل كلا الطرق من متوسط فجوة تأكيد الخسارة في TorchAO 4-bit AdamW إلى 32-bit AdamW عند كل حجم نموذج تم تقييمه، مع أكبر تخفيض الفجوة المبلغ عنه يصل إلى \text bf{70\%}. في التنسيق الدقيق المراقب للمعلمات الكاملة، تحقق كلا الوصفات خسارة التصديق أقل من TorchAO مع البقاء بالقرب من 32 بت AdamW في المهام المتدفقة.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Li, H., Tang, S., Braithwaite, D. T., Dexter, G., Neves, L., Gupta, A., Udagawa, H., Shivanna, A., Silva, D., & Ramanath, R. (2026). التجول في الفضاء المسبق للتكييف: إعادة تصميم 4-bit AdamW تحسين الحالة الكمية. https://omanscience.com/ar/articles/rounding-in-preconditioner-space-redesigning-4-bit-adamw-optimizer-state-quantization
MLA 9
Li, Hanyang, et al. "التجول في الفضاء المسبق للتكييف: إعادة تصميم 4-bit AdamW تحسين الحالة الكمية." https://omanscience.com/ar/articles/rounding-in-preconditioner-space-redesigning-4-bit-adamw-optimizer-state-quantization.
شيكاغو (المؤلف–التاريخ)
Li, Hanyang, Shao Tang, Daniel Thomas Braithwaite, Gregory Dexter, Leonardo Neves, Aman Gupta, Hiroto Udagawa, Abhishek Shivanna, Daniel Silva, and Rohan Ramanath. 2026. "التجول في الفضاء المسبق للتكييف: إعادة تصميم 4-bit AdamW تحسين الحالة الكمية." https://omanscience.com/ar/articles/rounding-in-preconditioner-space-redesigning-4-bit-adamw-optimizer-state-quantization.
هارفارد
Li, H., Tang, S., Braithwaite, D. T., Dexter, G., Neves, L., Gupta, A., Udagawa, H., Shivanna, A., Silva, D. and Ramanath, R. (2026) 'التجول في الفضاء المسبق للتكييف: إعادة تصميم 4-bit AdamW تحسين الحالة الكمية', Available at: https://omanscience.com/ar/articles/rounding-in-preconditioner-space-redesigning-4-bit-adamw-optimizer-state-quantization.
فانكوفر
Li H, Tang S, Braithwaite DT, Dexter G, Neves L, Gupta A, et al. التجول في الفضاء المسبق للتكييف: إعادة تصميم 4-bit AdamW تحسين الحالة الكمية. https://omanscience.com/ar/articles/rounding-in-preconditioner-space-redesigning-4-bit-adamw-optimizer-state-quantization
IEEE
H. Li, S. Tang, D. T. Braithwaite, G. Dexter, L. Neves, A. Gupta, H. Udagawa, A. Shivanna, D. Silva, and R. Ramanath, "التجول في الفضاء المسبق للتكييف: إعادة تصميم 4-bit AdamW تحسين الحالة الكمية," https://omanscience.com/ar/articles/rounding-in-preconditioner-space-redesigning-4-bit-adamw-optimizer-state-quantization.