تقوم شركات الذكاء الاصطناعى بنسخ الواجبات المنزلية لبعضها البعض لصنع نماذج رخيصة

• سعر بناء الذكاء الاصطناعى ينخفض ​​إلى أدنى مستوياته الجديدة.
• إن تقنيات تطوير الذكاء الاصطناعى الجديدة والأرخص قد ابتهجت بالمطورين – لكنها ليست كلها نتيجة.
• نظرًا لأن التكاليف تصل إلى قاع الصخور ، يجب على بناة Big Tech Foundation أن يبرروا العروض باهظة الثمن.

كم يكلف بدء شركة AI؟

الجواب أقل وأقل كل يوم حيث يتم إنشاء نماذج لغوية كبيرة لمبالغ أصغر وأصغر.

تكلفة الحوسبة الذكاء الاصطناعي تنخفض. بالإضافة إلى ذلك ، تنتشر تقنية تسمى التقطير لجعل LLMs لائق بأسعار الخصم. وقد أرسل هذا شرارة عبر أجزاء من النظام البيئي لمنظمة العفو الدولية والبرد من خلال الآخرين.

التقطير هو مفهوم قديم يكتسب أهمية جديدة. بالنسبة لمعظم ، هذه أخبار جيدة. بالنسبة لقلة مختارة ، فهي معقدة. ومستقبل الذكاء الاصطناعي ، من المهم.

التقطير المحدد

يقول مطورو الذكاء الاصطناعي والخبراء إن التقطير ، في جوهره ، باستخدام نموذج واحد لتحسين نموذج آخر. يُطلب من نموذج “المعلم” الأكبر توليد ردود ومسارات للتفكير ونموذج “الطالب” الأصغر على سلوكه.

تسببت شركة Deepseek الصينية في ضجة مع نماذج Openai المنافسة التي تم الإبلاغ عنها تدربت على حوالي 5 ملايين دولار. أرسلت سوق الأوراق المالية إلى ذعر ، معاقبة NVIDIA بخسارة قدرها 600 مليار دولار في القيمة السوقية للتراجع المحتمل في الطلب على الرقائق. (مثل هذا الانخفاض لم يتحقق بعد.)

قام فريق من الباحثين في جامعة كاليفورنيا في بيركلي ، الذي كان يطير بمزيد من الرادار ، بتدريب نموذجين جديدين لأقل من 1000 دولار في تكاليف الحوسبة لكل منهما ، وفقًا للبحث الذي صدر في يناير.

في أوائل فبراير ، تمكن باحثون من جامعة ستانفورد وجامعة واشنطن ومعهد ألين لمنظمة العفو الدولية من تدريب نموذج التفكير القابل للخدمة لجزء بسيط من ذلك.

كان التقطير إلغاء قفل لجميع هذه التطورات.

إنها أداة في صناديق الأدوات للمطورين ، إلى جانب ضبطها ، لتحسين النماذج في مرحلة التدريب ، ولكن بتكلفة أقل بكثير من الأساليب الأخرى. يتم استخدام كلا التقنيتين من قبل المطورين لإعطاء نماذج خبرة أو مهارات محددة.

قد يعني هذا أخذ نموذج أساس عام مثل Llama's Meta واستخدام نموذج آخر لتقطيره في خبير في قانون الضرائب الأمريكي ، على سبيل المثال.

يمكن أن يبدو أيضًا استخدام نموذج التفكير R1 الخاص بـ Deepseek لتقطير Llama للحصول على مزيد من إمكانات التفكير-بمعنى أنه عندما يستغرق الذكاء الاصطناعى وقتًا أطول لإنشاء إجابة من أجل التشكيك في منطقها ووضع عملية الوصول إلى خطوة الإجابة.

“ربما كان الجزء الأكثر إثارة للاهتمام من ورقة R1 هو القدرة على تحويل النماذج الأصغر غير المعتادة إلى نماذج التفكير من خلال صياغتها باستخدام مخرجات من نموذج التفكير” ، كتب المحللون في Semianalysis في يناير.

بالإضافة إلى علامة سعر الصفقة-على الأقل بالنسبة إلى الذكاء الاصطناعي-أصدرت Deepseek إصدارات مقطرة من نماذج أخرى مفتوحة المصدر باستخدام نموذج التفكير R1 كمدرس. نماذج Deepseek كاملة الحجم ، إلى جانب أكبر إصدارات Llama كبيرة جدًا بحيث يمكن فقط تشغيل أجهزة معينة. التقطير يساعد في ذلك أيضًا.

وأوضح سمير كومار ، الشريك العام في Touring Capital: “يحتوي هذا النموذج المقطر على بصمة أصغر ، وأقل من المعلمات ، وذاكرة أقل”. وقال “يمكنك تشغيله على هاتفك. يمكنك تشغيله على أجهزة الحافة”.

كان اختراق Deepseek هو أن النماذج المقطرة لم تزداد سوءًا لأنها أصبحت أصغر كما كان متوقعًا. في الواقع ، لقد تحسنوا.

التقطير ليس جديدًا لكنه تغير

ظهرت تقنية التقطير لأول مرة في ورقة 2015 التي تألفت من قبل زعماء Google AI البارز Jeff Dean و Geoffrey Hinton ، و VP Viniol Vinials الحالي Google Deepmind.

قال Vinyals مؤخرًا إن الورقة قد تم رفضها من مؤتمر Neups المرموق لأنه لم يكن يعتبر تأثير كبير في هذا المجال. بعد عقد من الزمان ، يكون التقطير فجأة في طليعة مناقشة الذكاء الاصطناعي.

ما يجعل التقطير قويًا جدًا الآن بدلاً من العودة في ذلك الوقت ، هو عدد وجودة نماذج المصدر المفتوح لاستخدامها كمدرسين.

وقال كيت سول ، مدير الإدارة الفنية في IBM LLM Granite ، “أعتقد أنه من خلال إطلاق نموذج قادر للغاية – النموذج الأكثر قدرة حتى الآن – في المصدر المفتوح مع ترخيص معهد ماساتشوستس للتكنولوجيا المسموح به ، فإن Deepseek يتآكل بشكل أساسي هذا الخندق التنافسي الذي كان لدى جميع مقدمي الخدمات النماذج الكبار حتى الآن ، مع الحفاظ على أكبر نماذج من الخبراء في شهر يناير.

إلى أي مدى يمكن أن يذهب التقطير

قال سول إن Hugging Face ، مستودع الإنترنت لـ LLMS ، مليء بالإصدارات المقطرة من Meta's Lama و Alibaba's Qwen ، وكلاهما من الطرز التقليدية مفتوحة المصدر.

في الواقع ، من بين 1.5 مليون نموذج متوفر على وجه المعانقة ، يحتوي 30،000 منهم على كلمة “تقطير” بالاسم ، والتي تشير إلى نموذج مقطر تقليديًا. لكن أيا من النماذج المقطرة جعلت المتصدرين في الموقع.

تمامًا مثل التسوق في متجر الدولار في العالم المادي ، يقدم التقطير بعضًا من أدنى نسب التكلفة للأداء في السوق ، لكن الاختيار محدود إلى حد ما وهناك عيوب.

إن جعل نموذجًا جيدًا بشكل خاص في نوع واحد من المهام من خلال التقطير يمكن أن يؤدي إلى تآكل أدائه في مجالات أخرى.

حاول باحثو Apple إنشاء “قانون تحجيم التقطير” الذي يمكن أن يتنبأ بأداء نموذج الذكاء الاصطناعى المقطر استنادًا إلى عوامل تشمل حجم النموذج الذي يتم بناؤه ، وحجم نموذج “المعلم” ، وكمية قوة الحوسبة المستخدمة.

وخلصوا إلى أن التقطير يمكن أن يعمل بشكل أفضل من التعلم التقليدي الخاضع للإشراف في بعض الحالات ، ولكن فقط عند استخدام نموذج “المعلم” عالي الجودة. المعلم يحتاج أيضا أن يكون. أكبر من النموذج الذي يتم تدريبه ، ولكن ليس خارج عتبة معينة. يتوقف التحسين مع نمو نماذج المعلمين كبيرة جدًا.

ومع ذلك ، يمكن لهذه التقنية ، على سبيل المثال ، إغلاق المسافة بين الفكرة والنموذج الأولي للمؤسسين وخفض العائق عمومًا أمام دخول AI.

قال العديد من خبراء الذكاء الاصطناعي إن إيجاد اختصار إلى نماذج أكثر ذكاءً وأصغر لا ينفي بالضرورة الحاجة إلى نماذج أساس كبيرة باهظة الثمن. لكنه يشكك في التشكيك في الآفاق المالية للشركات التي تبني تلك النماذج الكبيرة.

هل نماذج الأساس محكوم عليها؟

وقال جنسن هوانغ ، الرئيس التنفيذي لشركة NVIDIA في CNBC في أعقاب أحدث أرباح الشركة ، الرئيس التنفيذي لشركة NVIDIA في CNBC في أعقاب أحدث أرباح الشركة: “يستخدم كل مطور من الذكاء الاصطناعي في العالم اليوم”.

لقد جلب التقطير الفرصة ، ولكن من المستعهد بتلبية المعارضة بسبب التهديد الذي يمثله على نماذج ضخمة ومكلفة وملكية مثل تلك التي صنعتها Openai والأنثروبور.

وقال جاسبر تشانغ ، مؤسس منصة السحابة “أعتقد أن نماذج الأساس ستصبح أكثر فأكثر.

وقال تشانغ إن إجابة الأسماء الكبيرة لـ LLMS هي إنشاء منتجات محبوبة ، بدلاً من النماذج المحبوبة – ربما تضفي مصداقية لقرار Meta بجعل نماذج Llama مفتوحة إلى حد ما.

هناك أيضًا تكتيكات أكثر عدوانية يمكن للشركات النموذجية التي يمكن أن تأخذها ، وفقًا لباحث Google Deepmind الذي طلب عدم الكشف عن هويته لمناقشة الشركات الأخرى.

يمكن للشركات ذات النماذج المنطقية إزالة أو تقليل خطوات التفكير أو “آثار” معروضة للمستخدم بحيث لا يمكن استخدامها للتقطير. يخفي Openai مسار التفكير الكامل في نموذج التفكير الكبير O1 ولكنه أصدر منذ ذلك الحين إصدارًا أصغر ، O3-Mini ، والذي يوضح هذه المعلومات.

وقال ديفيد ساكس ، مستشار الرئيس دونالد ترامب للعملة المشفرة وسياسة الذكاء الاصطناعي في شهر يناير: “أحد الأشياء التي ستشاهده خلال الأشهر القليلة المقبلة هي شركاتنا الرائدة التي تحاول منع التقطير”.

ومع ذلك ، قد يكون من الصعب إعادة جني إلى الزجاجة ، عن طريق تخفيف التقطير في الغرب الغرب من الذكاء الاصطناعى مفتوح المصدر.

وقال سول في نفس البودكاست: “يمكن لأي شخص أن يذهب إلى معانقة الوجه والعثور على الكثير من مجموعات البيانات التي تم إنشاؤها من نماذج GPT ، والتي تم تنسيقها ومصممة للتدريب ومن المحتمل أن يتم أخذها دون حقوق القيام بذلك. هذا مثل سر ليس سرًا يحدث إلى الأبد”.

لم يستجب الأنثروبور و Openai لطلبات التعليق.