كانت نماذج الذكاء الاصطناعي التوليدية الشاملة والقابلة للتعميم للغاية هي اسم اللعبة ذات يوم، ويمكن القول إنها لا تزال كذلك. ولكن على نحو متزايد، مع انضمام بائعي السحابة الكبار والصغار إلى معركة الذكاء الاصطناعي التوليدي، فإننا نشهد مجموعة جديدة من النماذج التي تركز على العملاء المحتملين الأكثر ثراءً: المؤسسة.
مثال على ذلك: كشفت شركة Snowflake، شركة الحوسبة السحابية، اليوم عن Arctic LLM، وهو نموذج ذكاء اصطناعي توليدي يوصف بأنه “من فئة المؤسسات”. متوفر بموجب ترخيص Apache 2.0، تم تحسين Arctic LLM “لأعباء عمل المؤسسات”، بما في ذلك إنشاء كود قاعدة البيانات، كما يقول Snowflake، وهو مجاني للبحث والاستخدام التجاري.
قال الرئيس التنفيذي سريدار راماسوامي في مؤتمر صحفي: “أعتقد أن هذا سيكون الأساس الذي سيسمح لنا – Snowflake – وعملائنا ببناء منتجات على مستوى المؤسسات والبدء فعليًا في تحقيق وعد وقيمة الذكاء الاصطناعي”. “يجب أن تفكر في هذا باعتباره خطوتنا الأولى، ولكن الكبيرة، في عالم الذكاء الاصطناعي التوليدي، مع الكثير في المستقبل.
نموذج المؤسسة
كتب زميلي ديفين كولديوي مؤخرًا عن عدم وجود نهاية في الأفق لهجوم نماذج الذكاء الاصطناعي التوليدية. أنصحك بقراءة مقالته، ولكن جوهرها هو: النماذج هي طريقة سهلة للبائعين لإثارة الإثارة للبحث والتطوير، كما أنها بمثابة مسار تحويل إلى الأنظمة البيئية لمنتجاتهم (على سبيل المثال، استضافة النماذج، والضبط الدقيق، وما إلى ذلك) .
القطب الشمالي LLM لا يختلف. النموذج الرائد لـ Snowflake ضمن عائلة من نماذج الذكاء الاصطناعي التوليدية تسمى Arctic، Arctic LLM – والذي استغرق تدريبه حوالي ثلاثة أشهر و1000 وحدة معالجة رسوميات و2 مليون دولار – يصل في أعقاب DBRX من Databricks، وهو نموذج ذكاء اصطناعي توليدي تم تسويقه أيضًا على أنه مُحسّن للمؤسسة فضاء.
تعقد Snowflake مقارنة مباشرة بين Arctic LLM وDBRX في موادها الصحفية، قائلة إن Arctic LLM تتفوق على DBRX في مهمتي البرمجة (لم تحدد Snowflake لغات البرمجة) وتوليد SQL. وقالت الشركة إن Arctic LLM أفضل أيضًا في تلك المهام من Meta’s Llama 2 70B (لكن ليس Llama 3 70B الأحدث) وMistral’s Mixtral-8x7B.
تدعي Snowflake أيضًا أن Arctic LLM تحقق “أداءً رائدًا” في معيار فهم اللغة العامة الشائع، MMLU. سألاحظ، رغم ذلك، أنه بينما MMLU يهدف إلى تقييم قدرة النماذج التوليدية على التفكير من خلال المشكلات المنطقية، فهو يتضمن اختبارات يمكن حلها من خلال الحفظ عن ظهر قلب، لذا خذ هذه النقطة بحذر.
قال باريس غولتكين، رئيس قسم الذكاء الاصطناعي في شركة Snowflake، لـ TechCrunch في مقابلة: “تعالج Arctic LLM احتياجات محددة داخل قطاع المؤسسات، وتبتعد عن تطبيقات الذكاء الاصطناعي العامة مثل تأليف الشعر للتركيز على التحديات الموجهة نحو المؤسسات، مثل تطوير SQL المشتركة”. الطيارون وروبوتات الدردشة عالية الجودة.
تعد Arctic LLM، مثل DBRX والنموذج التوليدي الأفضل أداءً من Google في الوقت الحالي، Gemini 1.5 Pro، مزيجًا من هندسة الخبراء (MoE). تعمل هياكل وزارة التربية والتعليم بشكل أساسي على تقسيم مهام معالجة البيانات إلى مهام فرعية ومن ثم تفويضها إلى نماذج “خبراء” أصغر حجمًا ومتخصصة. لذلك، في حين أن Arctic LLM يحتوي على 480 مليار معلمة، فإنه ينشط 17 مليارًا فقط في المرة الواحدة – وهو ما يكفي لتشغيل 128 نموذجًا متخصصًا منفصلاً. (تحدد المعلمات بشكل أساسي مهارة نموذج الذكاء الاصطناعي في حل مشكلة ما، مثل تحليل النص وإنشاءه.)
تدعي شركة Snowflake أن هذا التصميم الفعال مكنها من تدريب Arctic LLM على مجموعات بيانات الويب العامة المفتوحة (بما في ذلك RefinedWeb وC4 وRedPajama وStarCoder) “بحوالي ثُمن تكلفة النماذج المماثلة”.
الجري في كل مكان
توفر Snowflake موارد مثل قوالب الترميز وقائمة مصادر التدريب جنبًا إلى جنب مع Arctic LLM لتوجيه المستخدمين خلال عملية إعداد النموذج وتشغيله وضبطه لحالات استخدام معينة. ولكن، مع إدراك أن هذه المهام من المحتمل أن تكون مكلفة ومعقدة بالنسبة لمعظم المطورين (يتطلب الضبط الدقيق أو تشغيل Arctic LLM حوالي ثمانية وحدات معالجة رسوميات)، تتعهد Snowflake أيضًا بجعل Arctic LLM متاحًا عبر مجموعة من المضيفين، بما في ذلك Hugging Face وMicrosoft Azure. وخدمة استضافة نماذج Together AI ومنصة Lamini للذكاء الاصطناعي المولدة للمؤسسات.
هنا تكمن المشكلة: سيكون Arctic LLM متاحًا أولاً على Cortex، منصة Snowflake لبناء تطبيقات وخدمات تعتمد على الذكاء الاصطناعي والتعلم الآلي. ومن غير المستغرب أن تقوم الشركة بالترويج لها باعتبارها الطريقة المفضلة لتشغيل Arctic LLM مع “الأمان” و”الحوكمة” وقابلية التوسع.
“وقال راماسوامي: “حلمنا هنا هو أن يكون لدينا، في غضون عام، واجهة برمجة التطبيقات (API) التي يمكن لعملائنا استخدامها حتى يتمكن مستخدمو الأعمال من التحدث مباشرة إلى البيانات”. “””””””””””””””””””””””””””””””””” كان من السهل علينا أن نقول: “أوه، سننتظر بعض النماذج مفتوحة المصدر وسنستخدمها.” وبدلاً من ذلك، فإننا نقوم باستثمار تأسيسي لأننا نفكر [it’s] سنفتح المزيد من القيمة لعملائنا.”
لذلك أتساءل: من هو Arctic LLM حقًا إلى جانب عملاء Snowflake؟
في مشهد مليء بالنماذج التوليدية “المفتوحة” التي يمكن ضبطها بشكل عملي لأي غرض، لا تبرز Arctic LLM بأي طريقة واضحة. قد تحقق بنيتها مكاسب في الكفاءة مقارنة ببعض الخيارات الأخرى المتوفرة. لكنني لست مقتنعًا بأنها ستكون دراماتيكية بدرجة كافية لإبعاد المؤسسات عن عدد لا يحصى من النماذج التوليدية الأخرى المعروفة والمدعومة والصديقة للأعمال (مثل GPT-4).
هناك أيضًا نقطة لا يفضل Arctic LLM أخذها في الاعتبار: سياقها الصغير نسبيًا.
في الذكاء الاصطناعي التوليدي، تشير نافذة السياق إلى بيانات الإدخال (مثل النص) التي يأخذها النموذج في الاعتبار قبل إنشاء المخرجات (مثل المزيد من النص). تميل النماذج ذات نوافذ السياق الصغيرة إلى نسيان محتوى المحادثات الحديثة جدًا، بينما تتجنب النماذج ذات السياقات الأكبر عادةً هذا المأزق.
يتراوح سياق Arctic LLM بين ~ 8000 و ~ 24000 كلمة، اعتمادًا على طريقة الضبط الدقيق – وهو أقل بكثير من نماذج مثل Anthropic’s Claude 3 Opus و Google’s Gemini 1.5 Pro.
لم تذكر Snowflake ذلك في التسويق، ولكن من المؤكد تقريبًا أن Arctic LLM تعاني من نفس القيود وأوجه القصور التي تعاني منها نماذج الذكاء الاصطناعي التوليدية الأخرى – وهي الهلوسة (أي الإجابة بثقة على الطلبات بشكل غير صحيح). ذلك لأن Arctic LLM، إلى جانب كل نماذج الذكاء الاصطناعي التوليدي الأخرى الموجودة، هي عبارة عن آلة احتمالات إحصائية – وهي آلة تحتوي مرة أخرى على نافذة سياق صغيرة. إنه يخمن، بناءً على كميات هائلة من الأمثلة، أي البيانات هي الأكثر “منطقية” لوضعها في مكان ما (على سبيل المثال، كلمة “اذهب” قبل “السوق” في الجملة “أذهب إلى السوق”). من المؤكد أن التخمين خاطئ، وهذه “هلوسة”.
كما كتب ديفين في مقالته، حتى الاختراق التقني الرئيسي التالي، فإن التحسينات الإضافية هي كل ما علينا أن نتطلع إليه في مجال الذكاء الاصطناعي التوليدي. لن يمنع ذلك البائعين مثل Snowflake من الدفاع عنها باعتبارها إنجازات عظيمة، وتسويقها بكل ما تستحقه.
