نسخة أولية وصول مفتوح
أسئلة قطبية وإجابات مفقودة: مجموعة بيانات ومعيار لامتناع النماذج اللغوية الكبيرة في العلوم القطبية
ينبغي أن تمتنع نماذج اللغة الكبيرة (LLM) عن الإجابة في أسئلة الاختيار من متعدد العلمية حين لا يكون أي خيار صحيحاً، لكن الامتناع المتكرر وحده لا يدل على الحساسية لتوفر الإجابة. نقدم ArcticQA، وهي مجموعة بيانات من 194 سؤالاً مشتقة من أبحاث أساسية في القطب الشمالي، مع فحوص آلية لدعم الإجابة وتناقض المشتتات مقابل الأدلة ال …