الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
التقريب الكوني خاصية نوعية ضرورية لكي تستفيد معماريات التعلم من قوانين التحجيم. وقد جرى التحقق منه عمومًا على معماريات عصبية متنوعة ونماذج الميزات العشوائية، لكنه يتطلب عادةً حدودًا لانهائية في العرض. في هذا العمل نركز على نماذج الانتباه الذاتي العميقة، ونتناول بدلًا من ذلك النظام "المزدوج" الذي تأتي فيه قدرة التقريب من العمق وحده، مع مشاركة قوية للمعاملات عبر الطبقات، مستلهمين نماذج حديثة مثل المحولات المتكررة (Looped Transformers). وبشكل أدق نسأل هل يمكن إيجاد مجموعة محددة مسبقًا ومنتهية من المعاملات، تعرّف كل منها كتلة انتباه، بحيث تستطيع المجموعة المنتهية الناتجة من التحويلات أن تنقل أي مجموعة من N متتابعات بطول n رموز إلى أي مجموعة أخرى من N متتابعات بطول n رموز. والأهم أن هذه التحويلات ثابتة مستقلةً عن مجموعتي الإدخال والإخراج: فلا يعتمد على مهمة الاستيفاء المحددة سوى ترتيب تطبيق الكتل وإشاراتها ومددها. وتثبت نتيجتنا الرئيسية ذلك للانتباه الناعم المتبقي باستخدام كتلتين أحاديتي الرأس مجمدتين فقط، مع مصفوفات إسقاط مهيأة غاوسيًا. وتصح النتيجة عند العمق المستمر والعمق المنتهي معًا. ونصف أيضًا القيود التي يفرضها القناع السببي، ونثبت ضمانات الاستيفاء الكوني المقابلة.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Marcotte, S., & Bruna, J. (2026). الاستيفاء الشامل لشبكات الانتباه الذاتي المتبقية العميقة. https://omanscience.com/ar/articles/universal-interpolation-for-deep-residual-self-attention-networks
MLA 9
Marcotte, Sibylle, and Joan Bruna. "الاستيفاء الشامل لشبكات الانتباه الذاتي المتبقية العميقة." https://omanscience.com/ar/articles/universal-interpolation-for-deep-residual-self-attention-networks.
شيكاغو (المؤلف–التاريخ)
Marcotte, Sibylle, and Joan Bruna. 2026. "الاستيفاء الشامل لشبكات الانتباه الذاتي المتبقية العميقة." https://omanscience.com/ar/articles/universal-interpolation-for-deep-residual-self-attention-networks.
هارفارد
Marcotte, S. and Bruna, J. (2026) 'الاستيفاء الشامل لشبكات الانتباه الذاتي المتبقية العميقة', Available at: https://omanscience.com/ar/articles/universal-interpolation-for-deep-residual-self-attention-networks.
فانكوفر
Marcotte S, Bruna J. الاستيفاء الشامل لشبكات الانتباه الذاتي المتبقية العميقة. https://omanscience.com/ar/articles/universal-interpolation-for-deep-residual-self-attention-networks
IEEE
S. Marcotte, and J. Bruna, "الاستيفاء الشامل لشبكات الانتباه الذاتي المتبقية العميقة," https://omanscience.com/ar/articles/universal-interpolation-for-deep-residual-self-attention-networks.