[
    {
        "id": "osp-16449",
        "type": "article-journal",
        "title": "إزالة مستوى الـ Hessian: رتبة-4 W4A4 الكمية لتحولات الانتشار المتعددة الحركات",
        "author": [
            {
                "family": "Wang",
                "given": "Shiwen"
            },
            {
                "family": "Zhao",
                "given": "Pengxiang"
            },
            {
                "family": "Yuan",
                "given": "Xiaoming"
            }
        ],
        "URL": "https://omanscience.com/ar/articles/deflating-the-hessian-rank-4-w4a4-quantization-for-multimodal-diffusion-transformers",
        "language": "en",
        "issued": {
            "date-parts": [
                [
                    2026
                ]
            ]
        },
        "abstract": "في محولات الانتشار، يمكن لفرع الدرجة المنخفضة التخفيف من فقدان الوزن - تفعيل 4-بيت (W4A4) بعد تدريب الكمية (PTQ) عن طريق تفكيك كل وزن إلى بقايا منخفضة البيت ومكون منخفض الدرجة عالية الدقة. ومع ذلك، فإن نهجات PTQ المنخفضة الحالية إما تحسين تعويض المرتبة المنخفضّة والكميّة المتبقية بشكل منفصل، وغالبا ما تتطلب صفوفًا أعلى، أو الاعتماد على تحديثات الوزن من النظام الثاني دون نمذجة صريحة لخطأ كميّة التفعيل، الذي يصبح واضحًا بشكل خاص تحت كمية 4-بيت. لمعالجة هذه القيود، نقوم بتقديم \\method{}، وهي إطار موحد لنموذج W4A4 PTQ بمساعدة منخفضة المرتبة كمشكلة تحديد مقربة و استنباط حلولات مبنية على التحسين من الهدف المشترك. إزالة عامل الدرجة المنخفضة من جانب الخروج يؤدي إلى \\emph{deflated Hessian} الذي يقلل من الأخطاء المتبقية التي تم القبض عليها بالفعل بواسطة مكون الدرجة منخفضة، في حين يتم دمج بديل عن ضجيج التفعيل لقمع خطأ كمية التفعيل. عبر الخمسة العمود الفقري الانتشارية، رتبة-4 \\method{} تتفوق باستمرار على رتبة-4 SVDQuant في PSNR و LPIPS. كما يتجاوز المرتبة 32 SVDQuant على SANA-1.6B، FLUX.1-schnell، و FLUX.1-dev مع 8 مرات من الصف الأصغر وحتى 6.25 مرة أسرع كمية. علاوة على ذلك، في Qwen3-8B LLM، تحسن المرتبة-4 \\method{} دقة MMLU من 61.50\\% إلى 68.17\\% مقارنة مع المرتبة-32 SVDQuant. بشكل عام، \\method{} يحقق أداءً أفضل من W4A4 مع انخفاض كبير في الدرجة وتكلفة الكميات."
    }
]