الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
Embodied Question Answering (EQA) requires agents to answer natural language questions about surrounding environments from visual observations. In this work, we focus on open-vocabulary episodic-memory EQA (EM-EQA), where an agent answers free-form questions using recorded observation histories. Omnidirectional images are promising for this task, as they provide wide field-of-view observations that can capture surrounding context without requiring explicit camera rotations. However, omnidirectional images introduce two challenges for EQA: (i) equirectangular projection causes severe geometric distortion that degrades vision-language model (VLM) recognition accuracy, and (ii) feeding equirectangular images directly into VLMs introduces excessive irrelevant background information, reducing answer accuracy and increasing the visual-token burden. To address these challenges, we propose a viewpoint selection method for EM-EQA using omnidirectional images. Our method converts equirectangular observations into perspective views via cubemap projection, estimates question-conditioned relevance with fine-tuned BLIP-2, and selects informative and diverse viewpoints through diversity-aware greedy selection. Experiments on the Habitat-Matterport 3D (HM3D) subset of OpenEQA show that our method achieves state-of-the-art model performance among the reported model results with equirectangular observations. Moreover, after removing rotation views, which reduces observation frames by 65.5%, our method largely maintains its answer accuracy.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Kitamura, K., & Kanezaki, A. (2026). اختيار المنظور المفيد للإجابة عن الأسئلة المجسّدة بالذاكرة الحلقية باستخدام الصور البانورامية. https://omanscience.com/ar/articles/informative-viewpoint-selection-for-episodic-memory-embodied-question-answering-using-omnidirectional-images
MLA 9
Kitamura, Kaname, and Asako Kanezaki. "اختيار المنظور المفيد للإجابة عن الأسئلة المجسّدة بالذاكرة الحلقية باستخدام الصور البانورامية." https://omanscience.com/ar/articles/informative-viewpoint-selection-for-episodic-memory-embodied-question-answering-using-omnidirectional-images.
شيكاغو (المؤلف–التاريخ)
Kitamura, Kaname, and Asako Kanezaki. 2026. "اختيار المنظور المفيد للإجابة عن الأسئلة المجسّدة بالذاكرة الحلقية باستخدام الصور البانورامية." https://omanscience.com/ar/articles/informative-viewpoint-selection-for-episodic-memory-embodied-question-answering-using-omnidirectional-images.
هارفارد
Kitamura, K. and Kanezaki, A. (2026) 'اختيار المنظور المفيد للإجابة عن الأسئلة المجسّدة بالذاكرة الحلقية باستخدام الصور البانورامية', Available at: https://omanscience.com/ar/articles/informative-viewpoint-selection-for-episodic-memory-embodied-question-answering-using-omnidirectional-images.
فانكوفر
Kitamura K, Kanezaki A. اختيار المنظور المفيد للإجابة عن الأسئلة المجسّدة بالذاكرة الحلقية باستخدام الصور البانورامية. https://omanscience.com/ar/articles/informative-viewpoint-selection-for-episodic-memory-embodied-question-answering-using-omnidirectional-images
IEEE
K. Kitamura, and A. Kanezaki, "اختيار المنظور المفيد للإجابة عن الأسئلة المجسّدة بالذاكرة الحلقية باستخدام الصور البانورامية," https://omanscience.com/ar/articles/informative-viewpoint-selection-for-episodic-memory-embodied-question-answering-using-omnidirectional-images.