في خطوة تؤكد على طموحاتها في عالم الذكاء الاصطناعي، قامت شركة هواوي مؤخرًا بفتح مصدر نموذجها الجديد للذكاء الاصطناعي Pangu Pro MoE 72B، والذي تم تدريبه على رقائق Ascend المتقدمة. وبإتاحة هذا النموذج الأيقوني للمجتمع المفتوح المصدر، تسمح هواوي للمطورين بالوصول إلى شفرته وقدراته وتخصيصها وفقًا لاحتياجاتهم.
ويُعد نموذج Pangu "Pro MoE" 72B، الذي يحتوي على 72 مليار مُعامل (parameter)، نموذج خبراء هجين. فهو يجمع بين النماذج الإحصائية لتحليل البيانات والذكاء الاصطناعي الرمزي، مما يمنحه قدرة على تقديم رؤى معمقة وفهم للسياق.
وقد قامت عملاقة التكنولوجيا الصينية بتدريب هذا النموذج باستخدام رقائق Ascend الخاصة بها (وحدات معالجة الرسوميات ووحدات المعالجة العصبية). ويعتمد النموذج على بنية "الخبراء المتفرقين" (sparse model)، حيث يتم تنشيط 16 مليار مُعامل فقط لكل "توكن" (token) من البيانات المدخلة.
وعلى صعيد الأداء، يمكن لأداء الاستدلال (inference) في نموذج Pangu Pro MoE 72B أن يصل إلى 1148 توكن/ثانية لكل بطاقة، ويمكن تحسينه ليصل إلى 1528 توكن/ثانية عند فك تشفيره على شريحة Ascend 8001 A2. كما أنه يساعد في تحقيق نسبة ممتازة من التكلفة إلى الأداء عند تشغيل الاستدلال على شريحة Ascend 3001 Duo.
من MoE إلى MoGE: ابتكار في البنية الهندسية
في السابق، كانت الشركة تستخدم بنية "مزيج الخبراء" (MoE - Mixture of Experts) في نماذجها اللغوية الكبيرة. وتُعد هذه التقنية فعالة من حيث التكلفة للنماذج الضخمة، لكنها كانت تعاني من عدم الكفاءة، حيث يتم استخدام جزء صغير فقط من المُعاملات لتنشيط كل "توكن" مدخل. وغالبًا ما تصبح هذه مشكلة عند تشغيل الخبراء على أجهزة متعددة بالتوازي، مما يؤدي إلى عدم توازن في عبء العمل.
ولحل هذه المشكلة، قدمت هواوي بنية جديدة ومبتكرة تُدعى MoGE (Mixture of Grouped Experts) أو "مزيج الخبراء المجمّعين". تقوم هذه البنية بتجميع الخبراء أثناء عملية الاختيار، مما يوازن عبء عمل الخبراء بشكل أفضل بكثير من بنية MoE التقليدية.
ويحافظ تصميم MoGE المعماري على حمل حوسبي متوازن عندما يبدأ تنفيذ النموذج في التوزيع على أجهزة متعددة، مما يعزز من نقل البيانات بشكل عام، خاصة في مرحلة الاستدلال. ولهذا السبب، يمكن لنموذج Pangu Pro MoE 72B أن يقدم أداءً أفضل بكثير من الإصدارات السابقة.
تابع موقعنا tech1new.com انضم إلى صفحتنا على فيسبوك و متابعتنا على منصة إكس (تويتر سابقاً) ، للحصول على تحديثات إخبارية فورية ومراجعات وشروحات تقنية.
ليست هناك تعليقات:
إرسال تعليق