[
    {
        "id": "osp-15051",
        "type": "article-journal",
        "title": "Internalizer: تعيين قابل للنقل من السياق إلى المعاملات للنماذج اللغوية الكبيرة جداً",
        "author": [
            {
                "family": "Devine",
                "given": "Peter"
            },
            {
                "family": "Ryan",
                "given": "Nick"
            },
            {
                "family": "Sirb",
                "given": "Benjamin"
            },
            {
                "family": "Chiocchi",
                "given": "Alex"
            }
        ],
        "URL": "https://omanscience.com/ar/articles/internalizer-portable-context-to-parameter-mapping-for-very-large-language-models",
        "language": "en",
        "issued": {
            "date-parts": [
                [
                    2026
                ]
            ]
        },
        "abstract": "تسمح الشبكات الفائقة التي تربط السياق مباشرة بمحول LoRA لنموذج لغوي كبير بأن يحمل هذا السياق في أوزانه، لكن الأعمال السابقة لم تُظهرها إلا على نماذج أساس تصل إلى 14 مليار معامل. نقدم Internalizer، وهو شبكة فائقة محمولة لتعيين السياق إلى المعاملات، تُعد الأحدث في مجالها، وتولّد محولات LoRA خاصة بكل وثيقة لنموذج DeepSeek v4 Flash المجمّد الذي يضم 284 مليار معامل، وهو هدف أكبر بمقدار مرتبتين من حجم أي عمل سابق. ومعظم معاملاته موجودة في جذع مستقل عن النموذج، مع طبقات دخول وخروج رفيعة فقط لكل نموذج أساس، مما يتيح تدريبه بكلفة منخفضة على نماذج صغيرة قبل نقله إلى النموذج الكبير. وعلى وثائق غير مرئية تصل إلى 4096 رمزاً، تبلغ المحولات المولّدة دقة أعلى 1 تساوي 84.9% ودقة أعلى 5 تساوي 97.8% بالتدريس المفروض، مقابل 63.4% و83.5% للنموذج الأساسي، دون أي شيء في نافذة السياق سوى تعليمة من ثلاث كلمات. وبعد تدريب الشبكة الفائقة، يحوّل تمرير أمامي واحد أي وثيقة إلى محول لمثل هذا النموذج، ويمكن تقديمه وحده لتحقيق السرعة، أو مع الوثيقة في النافذة لرفع الدقة أكثر."
    }
]