نسخة أولية وصول مفتوح
ما مدى عدم كفاءة تدرج نيوتن الطبيعي؟ من الأمثلية الدقيقة إلى التباعد بمقدار Θ(√log d)
يكمن التعلم بالتدرج الطبيعي (NGD) تحت كثير من الطرق في ML. وبالنسبة للعائلات المسطحة ثنائياً، يتبع NGD المثالي على هدف Kullback–Leibler الأمامي جيوديسيك الخليط، وهو غالباً أطول من أقصر مسار Fisher–Rao. نقيس هذه الزيادة بنسبة عدم الكفاءة R ≥ 1، أي طول فيشر لجيوديسيك الخليط مقسوماً على مسافة Fisher–Rao، ونحدد حداً لأعلى …