الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
Operator learning on probability measures can be accomplished with transformers. For measures with polynomial tails, the exponential weighting in softmax can make the corresponding measure-level attention integrals diverge. This motivates replacing the exponential with slower-growing functions. We construct two benchmarks for operator learning on measures with closed-form targets. We use these benchmarks to study attention kernel growth and data transformation in post-norm transformers. Without data transformation, the softmax models exhibit ensemble collapse on both heavy-tailed benchmarks, while the three slower-growing kernels avoid collapse. Symlog preprocessing allows softmax to avoid collapse on the matrix inverse task but not on the sheared swap task. On the Gaussian control, all four kernels perform similarly. We also examine how sample size affects the sensitivity of empirical energy and Wasserstein distances to tail differences. These results support slower-growing attention kernels as an effective design choice for post-norm transformers learning from heavy-tailed ensembles.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Hargenrader, K., Calvello, E., & Chen, B. (2026). نوى الانتباه لتعلم الخرائط بين القياسات ذات الذيول الثقيلة. https://omanscience.com/ar/articles/attention-kernels-for-learning-maps-between-heavy-tailed-measures
MLA 9
Hargenrader, Kailen, et al. "نوى الانتباه لتعلم الخرائط بين القياسات ذات الذيول الثقيلة." https://omanscience.com/ar/articles/attention-kernels-for-learning-maps-between-heavy-tailed-measures.
شيكاغو (المؤلف–التاريخ)
Hargenrader, Kailen, Edoardo Calvello, and Bohan Chen. 2026. "نوى الانتباه لتعلم الخرائط بين القياسات ذات الذيول الثقيلة." https://omanscience.com/ar/articles/attention-kernels-for-learning-maps-between-heavy-tailed-measures.
هارفارد
Hargenrader, K., Calvello, E. and Chen, B. (2026) 'نوى الانتباه لتعلم الخرائط بين القياسات ذات الذيول الثقيلة', Available at: https://omanscience.com/ar/articles/attention-kernels-for-learning-maps-between-heavy-tailed-measures.
فانكوفر
Hargenrader K, Calvello E, Chen B. نوى الانتباه لتعلم الخرائط بين القياسات ذات الذيول الثقيلة. https://omanscience.com/ar/articles/attention-kernels-for-learning-maps-between-heavy-tailed-measures
IEEE
K. Hargenrader, E. Calvello, and B. Chen, "نوى الانتباه لتعلم الخرائط بين القياسات ذات الذيول الثقيلة," https://omanscience.com/ar/articles/attention-kernels-for-learning-maps-between-heavy-tailed-measures.