TRACE: تشخيص كسر المحقق في تقييم العملاء

الملخص

تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.

وتعمل درجات المؤكد الآن كمتريكات مقياسية ومكافآت تدريبية لعاملين نموذج اللغة الكبير (LLM)، ويتم قراءة تغيير في الدرجة بشكل روتيني باعتبارها تغيير في القدرة. قد يعكس بدلا من ذلك تغيير في التقييم. نقدم بروتوكول TRACE، وهو بروتوكل يحول تغيير درجة من تجربة إلى تشخيص قابلة للتحقق منه: يطبق تغييرًا مستهدفًا على جزء واحد من التقييم، ويقارن الركضات المزدوجة، ويراقب ما إذا كان سلوك الوكيل قد تغير، ويعيد تسجيل المسارات غير المتغيرة لاختبار ما إذا كانت قاعدة درجة مسؤولة. في مجموعة مراقبة من 25 مهمة اصطناعية، أدوات إعادة تسمية يقلل من درجة الوكيل المسجل بنسبة 0.250 على الرغم من أنه يؤدي بالضبط نفس العمليات؛ استعادة الأسماء الأصلية في وقت تسجيل تغلق الفجوة بأكملها، في حين أن الطفرة نفسها تكشف عن فشل سلوك حقيقي في وكيل ثان. على المهام العامة بـ 2$ مع أربعة وكلاء LLM، وجدت دراسة 30 مهمة أولية تغييرات مزيجة في الجائزة التي لا يتكرر تأثير واحد واضح. في متابعة أكبر على 88 مهمة جديدة مع تشغيلات متكررة لكل شرط، إعادة تسمية الأدوات أو إعادة صياغة أداة المخرجات يترك مكافأة دون تغيير إلى داخل $\pm$0.10 لسبعة من ثمانية أزواج وكيل-تغيير، في حين أن أسماء الأدوات التي تضليل عمدا خفض مكافأة كل وكيل بنسبة 0.20-0.44, مما يدل على أن الإعداد يمكن اكتشاف الآثار الحقيقية. النتائج المتطابقة تقلب 15-36% من نتائج المهام، وبالتالي لا يمكن مقارنات الجولة الواحدة فصل تأثيرات العرض عن التباين الجاري إلى الجاري. يقدمون قضاة الـ LLM على الحدود أحكام متسقة عندما يتم تقديم مسار ثابت بشكل مختلف، لكنهم لا يتفقون مع بعضهم البعض في 57٪ من نفس السجلات، ويرجع ذلك إلى حد كبير إلى تصنيف إجراء واحد بدلاً من النتيجة. وبالتالي فإن TRACE يفصل ما يقوله تغيير النتيجة عن الوكيل عن ما يقوله عن القياس.

الكلمات المفتاحية

الموضوع