[
    {
        "id": "osp-15300",
        "type": "article-journal",
        "title": "LiveMACE: تقييم مدرك للمسار لقدرات وكلاء النماذج اللغوية الكبيرة في الأسواق المتطورة",
        "author": [
            {
                "family": "Zhao",
                "given": "Jun"
            },
            {
                "family": "Fu",
                "given": "Leiming"
            },
            {
                "family": "Wen",
                "given": "Yanbo"
            },
            {
                "family": "Wang",
                "given": "Yiding"
            },
            {
                "family": "Liu",
                "given": "Xuantong"
            },
            {
                "family": "Shu",
                "given": "Yang"
            },
            {
                "family": "Lu",
                "given": "Yuyang"
            },
            {
                "family": "Xing",
                "given": "Xuanran"
            },
            {
                "family": "Tong",
                "given": "Jingqi"
            },
            {
                "family": "Xu",
                "given": "Hao"
            },
            {
                "family": "Zhang",
                "given": "Qi"
            },
            {
                "family": "Huang",
                "given": "Xuanjing"
            }
        ],
        "URL": "https://omanscience.com/ar/articles/livemace-process-aware-evaluation-of-llm-agent-capabilities-in-evolving-markets",
        "language": "en",
        "issued": {
            "date-parts": [
                [
                    2026
                ]
            ]
        },
        "abstract": "لا يكفي تقييم الوكلاء بالنتائج وحدها، فقد يحجب ذلك القدرات التي تنتجها. وتبرز هذه المشكلة بصورة خاصة في البيئات المتطورة، حيث تعكس النتائج تفاعلاً مغلق الحلقة بين سلوك الوكيل والظروف الخارجية المتغيرة. نقدم LiveMACEBench، وهو معيار واعٍ بالعملية يستخدم الأسواق المالية الحية بوصفها بيئة اختبار متطورة بشكل طبيعي للوكلاء المستمرين المبنيين على LLM. ويعمل خمسة نماذج LLM رائدة على مسارات متصلة تحت إعدادات متطابقة لاستخدام الأدوات والذاكرة المستمرة واتباع القواعد والتعاون متعدد الوكلاء. ونقيّمها عبر العوائد المتحققة وعبر تشخيصات خاصة بالآلية مستمدة من مسارات القرار الكاملة. وعبر 30 يوماً من التقييم الحي، نجد فجوة واضحة بين النتيجة والقدرة: إذ تختلف العوائد المتحققة كثيراً عن القياسات الخاصة بكل قدرة، ويمكن أن تنشأ نتائج متشابهة من أنماط مختلفة جداً في استخدام الآلية. وتكشف التشخيصات على مستوى المسار اختناقات متميزة عبر القدرات، مما يبين أن الوصول إلى الآلية والاستخدام الفعّال لها والأداء اللاحق ليست مقاييس متبادلة لقدرة الوكيل. ويجعل LiveMACEBench هذا التمييز قابلاً للقياس، محولاً الأسواق الحية من لوحة متصدرين للأداء إلى بيئة تشخيصية لقدرة الوكيل."
    }
]