SSR: اختزال الجزء المتفرق لتسريع ضرب المصفوفات الثلاثية

الملخص

تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.

تتطلب نماذج اللغة الكبيرة (LLMs) موارد حوسبية كبيرة، مما يحد من نشرها على عتاد محدود الموارد. وتخفف نماذج LLM الثلاثية هذه المتطلبات بتكميم الأوزان إلى قيم ثلاثية، محققة ضغطاً كبيراً غالباً مع تفرق بنسبة 50% إلى 90%. لكن الطرق القائمة لها قيود: فالطرق المحسّنة للأوزان الثلاثية، مثل BitNet، وتقليص القطع المتكرر (RSR)، ونسخته المحسنة RSR++، لا تستغل بنى التفرق، بينما تتجاهل الصيغ المتفرقة التقليدية خصائص الثلاثية، فتفوّت فرص التحسين المزدوج. نقدم في هذه الورقة تقليص القطع المتفرق (SSR)، وهو طريقة ضرب مصفوفات ثلاثية مصممة لتسريع استدلال نماذج LLM الثلاثية وشبكات الأوزان الثلاثية العامة (TWNs). ويملك SSR صيغة بيانات ثلاثية مخصصة محسّنة، وخوارزمية تستغل أنماط التفرق بشكل منهجي عبر أشجار حسابية تتوسع مع التفرق. ويقدم SSR مكاسب نظرية، بسرعة استدلال مقاربة أعلى من RSR++ عند تفرق يتجاوز 50%، بينما تبين التقييمات العملية تحسينات في الأداء عبر جميع مستويات التفرق. وتُظهر نتائج التقييم أن SSR يحقق تسريعاً يتراوح بين 2.1 و11.3 مرة مقارنةً بـ RSR++ على GEMM ثلاثي عند تفرق بين 45% و95%. وعلاوة على ذلك، يحقق SSR تسريعاً من طرف إلى طرف بين 3.5 و6.3 مرة، وتوفيراً في الذاكرة بنسبة 4.9% مقارنةً بـ RSR++ في استدلال نموذج Llama-3 بمليار معامل.

الكلمات المفتاحية

الموضوع