الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
Vision-Language-Action (VLA) fine-tuning pairs images with actions at every step, yet typically provides only a task-level language instruction, leaving moment-to-moment visual relevance implicit. We introduce \emph{eye-tracker-supervised gaze prompting}, which uses gaze recorded during VR teleoperation to provide frame-level visual guidance for VLA fine-tuning. During training, recorded gaze locations are rendered as crosshairs on the robot's head-camera images. At deployment, a lightweight predictor estimates gaze locations from recent images and the instruction, supplying the same type of visual prompt without an eye tracker or changes to the policy architecture. Instantiated with $π_0$, gaze prompting increases mean success from $26.3\%$ to $56.0\%$ across six real-world bimanual manipulation tasks, with gains also observed when a single policy is trained on all six tasks. We release \textsc{GazeMani}, a dataset of $1{,}200$ teleoperated trajectories with synchronized gaze.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Zhou, Y., Yan, R., Li, M., Huang, Z., Yang, X., Guo, X., & Mo, Y. (2026). مطالبات النظر: انتباه بشري كثيف زمنياً لضبط نماذج الرؤية واللغة والفعل. https://omanscience.com/ar/articles/gaze-prompts-temporally-dense-human-attention-for-vision-language-action-fine-tuning
MLA 9
Zhou, Yihan, et al. "مطالبات النظر: انتباه بشري كثيف زمنياً لضبط نماذج الرؤية واللغة والفعل." https://omanscience.com/ar/articles/gaze-prompts-temporally-dense-human-attention-for-vision-language-action-fine-tuning.
شيكاغو (المؤلف–التاريخ)
Zhou, Yihan, Rui Yan, Mingcong Li, Zheyuan Huang, Xu Yang, Xueyang Guo, and Yilin Mo. 2026. "مطالبات النظر: انتباه بشري كثيف زمنياً لضبط نماذج الرؤية واللغة والفعل." https://omanscience.com/ar/articles/gaze-prompts-temporally-dense-human-attention-for-vision-language-action-fine-tuning.
هارفارد
Zhou, Y., Yan, R., Li, M., Huang, Z., Yang, X., Guo, X. and Mo, Y. (2026) 'مطالبات النظر: انتباه بشري كثيف زمنياً لضبط نماذج الرؤية واللغة والفعل', Available at: https://omanscience.com/ar/articles/gaze-prompts-temporally-dense-human-attention-for-vision-language-action-fine-tuning.
فانكوفر
Zhou Y, Yan R, Li M, Huang Z, Yang X, Guo X, et al. مطالبات النظر: انتباه بشري كثيف زمنياً لضبط نماذج الرؤية واللغة والفعل. https://omanscience.com/ar/articles/gaze-prompts-temporally-dense-human-attention-for-vision-language-action-fine-tuning
IEEE
Y. Zhou, R. Yan, M. Li, Z. Huang, X. Yang, X. Guo, and Y. Mo, "مطالبات النظر: انتباه بشري كثيف زمنياً لضبط نماذج الرؤية واللغة والفعل," https://omanscience.com/ar/articles/gaze-prompts-temporally-dense-human-attention-for-vision-language-action-fine-tuning.