الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
تطبّق المحولات المتكررة (Looped Transformers) الطبقات نفسها عدة مرات لكل رمز، فتضيف حوسبة لتحسين الجودة دون معاملات إضافية. لكن كل تكرار يكتب ذاكرة مفتاح-قيمة خاصة به، فتظل الذاكرة تنمو مع الحوسبة. وتستطيع تقنيات وقت الاستدلال تقليص هذه الذاكرة مقابل خسارة في الجودة. نُدرّب نماذج لغوية متكررة مسبقًا على مشاركة الذاكرة: إذ يكتب التكرار الأول وحده ذاكرة مؤقتة، وتقرأها التكرارات اللاحقة مع الاحتفاظ بنافذة قصيرة خاصة بها. والمفاجأة أن مشاركة الذاكرة لا تكلف جودة، بل تحسّنها. فعند 150 مليون إلى مليار معامل، يضع محول التنبؤ المتكرر (LPT) ونسخته الهجينة حدًا جديدًا لحدود الجودة-الذاكرة للنماذج المتكررة: فعند خمسة تكرارات يخفض الهجين حيرة التحقق على FineWeb-Edu بمقدار 1.12 إلى 1.82 مقارنةً بمحول قياسي بالحجم نفسه، مع استخدام ذاكرة سياق أقل بنسبة 76% إلى 79%. ومن خلال تحليل موسع نبحث لماذا تساعد مشاركة الذاكرة: فالذاكرة المشتركة والمحلية تطوّران تمثيلات مختلفة، وتنتبه التكرارات اللاحقة في الغالب إلى الذاكرة المشتركة، التي تعمل أيضًا كطريق تدرج سريع إلى التكرار الأول.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Monea, G., Ramji, K., El-Kurdi, Y., Lastras, L. A., Artzi, Y., Godey, N., & Astudillo, R. F. (2026). الفعالية المدهشة للذاكرة المشتركة في المحوّلات الحلقية. https://omanscience.com/ar/articles/the-surprising-effectiveness-of-shared-memory-in-looped-transformers
MLA 9
Monea, Giovanni, et al. "الفعالية المدهشة للذاكرة المشتركة في المحوّلات الحلقية." https://omanscience.com/ar/articles/the-surprising-effectiveness-of-shared-memory-in-looped-transformers.
شيكاغو (المؤلف–التاريخ)
Monea, Giovanni, Keshav Ramji, Yousef El-Kurdi, Luis A. Lastras, Yoav Artzi, Nathan Godey, and Ramón Fernandez Astudillo. 2026. "الفعالية المدهشة للذاكرة المشتركة في المحوّلات الحلقية." https://omanscience.com/ar/articles/the-surprising-effectiveness-of-shared-memory-in-looped-transformers.
هارفارد
Monea, G., Ramji, K., El-Kurdi, Y., Lastras, L. A., Artzi, Y., Godey, N. and Astudillo, R. F. (2026) 'الفعالية المدهشة للذاكرة المشتركة في المحوّلات الحلقية', Available at: https://omanscience.com/ar/articles/the-surprising-effectiveness-of-shared-memory-in-looped-transformers.
فانكوفر
Monea G, Ramji K, El-Kurdi Y, Lastras LA, Artzi Y, Godey N, et al. الفعالية المدهشة للذاكرة المشتركة في المحوّلات الحلقية. https://omanscience.com/ar/articles/the-surprising-effectiveness-of-shared-memory-in-looped-transformers
IEEE
G. Monea, K. Ramji, Y. El-Kurdi, L. A. Lastras, Y. Artzi, N. Godey, and R. F. Astudillo, "الفعالية المدهشة للذاكرة المشتركة في المحوّلات الحلقية," https://omanscience.com/ar/articles/the-surprising-effectiveness-of-shared-memory-in-looped-transformers.