يون كيم

استقصاء قدرات التفكير الانخفاضية طويلة الأجل في نماذج اللغة مع Prolog

يمكن لبرامج القانون الحدودي الحالية معالجة السياقات الطويلة مع 1 مليون رمز أو أكثر. ولكن إلى أي مدى يمكن أن تتجاوز الاستخدام البسيط وتقوم بعمل تفكير أعمق على سياقات طويلة كهذه؟ نحن نتحقق تجريبياً من قدرات التفكير الطويلة الأفق في الـ LLM، مع التركيز على المنطق الاستنتاجي الذي يعبر عنه Prolog. نقوم ببناء ProloNg، وهو مق …

الانتباه الخطي الثلاثي: حالات متكررة ثلاثية الأبعاد لنمذجة التسلسلات ذات السياق الطويل