تتباطأ تحسينات الذكاء الاصطناعي. الشركات لديها خطة لاختراق الجدار.

• يبدو أن معدل تحسين نموذج الذكاء الاصطناعي يتباطأ، لكن بعض قادة التكنولوجيا يقولون إنه لا يوجد جدار.
• لقد أثار هذا جدلاً حول كيفية التغلب على اختناقات الذكاء الاصطناعي.
• تحدثت Business Insider إلى 12 شخصًا في طليعة طفرة الذكاء الاصطناعي لمعرفة الطريق إلى الأمام.

لدى قادة وادي السيليكون المهتمون بازدهار الذكاء الاصطناعي رسالة للمنتقدين: التكنولوجيا الخاصة بهم لم تصطدم بالحائط.

نشأ جدل حاد حول ما إذا كانت التحسينات في نماذج الذكاء الاصطناعي قد وصلت إلى الحد الأقصى في الأسابيع الأخيرة، مما أجبر العديد من الرؤساء التنفيذيين على الرد. كان رئيس OpenAI، سام ألتمان، من بين أول من تحدثوا علنًا، حيث نشر على موقع X هذا الشهر ذلك “لا يوجد جدار.”

كما عارض داريو أمودي، الرئيس التنفيذي لشركة Anthropic المنافسة، وجنسن هوانغ، الرئيس التنفيذي لشركة Nvidia، التقارير التي تفيد بأن الذكاء الاصطناعي لقد تباطأ التقدم. ويقول آخرون، بما في ذلك مارك أندريسن، إن نماذج الذكاء الاصطناعي لا تتحسن بشكل ملحوظ، وتتقارب جميعها لتقديم أداء بمستويات مماثلة تقريبًا.

هذا سؤال تريليون دولار لصناعة التكنولوجيا. إذا كانت أساليب التدريب على نماذج الذكاء الاصطناعي المجربة والمختبرة توفر عوائد متناقصة، فقد يؤدي ذلك إلى تقويض السبب الأساسي لدورة استثمار غير مسبوقة تمول الشركات الناشئة والمنتجات ومراكز البيانات الجديدة – وحتى إعادة إحياء محطات الطاقة النووية المتوقفة عن العمل.

تحدثت Business Insider إلى 12 شخصًا في طليعة صناعة الذكاء الاصطناعي، بما في ذلك مؤسسو الشركات الناشئة والمستثمرون والمطلعون الحاليون والسابقون في Google DeepMind وOpenAI، حول التحديات والفرص المقبلة في السعي إلى الذكاء الاصطناعي الفائق.

وقالوا معًا إن الاستفادة من أنواع جديدة من البيانات، وبناء المنطق في الأنظمة، وإنشاء نماذج أصغر ولكن أكثر تخصصًا هي بعض الطرق للحفاظ على دوران عجلة تقدم الذكاء الاصطناعي.

معضلة ما قبل التدريب

يشير الباحثون إلى عائقين رئيسيين قد تواجههما الشركات في مرحلة مبكرة من تطوير الذكاء الاصطناعي، والمعروفة باسم التدريب المسبق. الأول هو الوصول إلى قوة الحوسبة. وبشكل أكثر تحديدًا، يعني هذا الحصول على شرائح متخصصة تسمى GPUs. إنه سوق تهيمن عليه شركة Nvidia العملاقة للرقائق ومقرها سانتا كلارا، والتي عانت من قيود العرض في مواجهة الطلب المستمر.

قال هنري تيلوي، الشريك في شركة Singular الفرنسية لرأس المال الاستثماري: “إذا كان لديك 50 مليون دولار لإنفاقها على وحدات معالجة الرسوميات ولكنك في أسفل قائمة Nvidia، فليس لدينا ما يكفي من الكيمتشي لصرفه على هذا، وسيستغرق الأمر بعض الوقت”. .

هناك مشكلة أخرى تتعلق بالإمداد أيضًا: بيانات التدريب. واجهت شركات الذكاء الاصطناعي قيودًا على كمية البيانات العامة التي يمكنها تأمينها لإدخالها في نماذجها اللغوية الكبيرة، أو LLMs، في التدريب المسبق.

تتضمن هذه المرحلة تدريب LLM على مجموعة كبيرة من البيانات، التي يتم سحبها عادةً من الإنترنت، ثم معالجتها بواسطة وحدات معالجة الرسومات. يتم بعد ذلك تقسيم هذه المعلومات إلى “رموز”، والتي تشكل الوحدات الأساسية للبيانات التي تتم معالجتها بواسطة النموذج.

في حين أن إلقاء المزيد من البيانات ووحدات معالجة الرسومات على النموذج قد أدى إلى إنتاج نماذج أكثر ذكاءً بشكل موثوق سنة بعد سنة، إلا أن الشركات كانت تستنفد توفير البيانات المتاحة للجمهور على الإنترنت. وتتوقع شركة الأبحاث Epoch AI إمكانية تجفيف البيانات النصية القابلة للاستخدام بحلول عام 2028.

وقال ماثيو زيلر، المؤسس والرئيس التنفيذي لشركة Clarifai، لموقع BI: “إن الإنترنت كبير جدًا”.

البيانات المتعددة الوسائط والخاصة

قال إريك لانداو، المؤسس المشارك والرئيس التنفيذي لشركة Encord الناشئة للبيانات، إن هذا هو المكان الذي ستوفر فيه مصادر البيانات الأخرى طريقًا للأمام في التدافع للتغلب على عنق الزجاجة في البيانات العامة.

أحد الأمثلة على ذلك هو البيانات متعددة الوسائط، والتي تتضمن تغذية أنظمة الذكاء الاصطناعي بمصادر المعلومات المرئية والصوتية، مثل الصور أو تسجيلات البودكاست. قال لانداو: “هذا جزء من الصورة”. “مجرد إضافة المزيد من طرائق البيانات.” وقد بدأت مختبرات الذكاء الاصطناعي بالفعل في استخدام البيانات متعددة الوسائط كأداة، لكن لانداو يقول إنها لا تزال “غير مستغلة بشكل كافٍ”.

يرى شارون تشو، المؤسس المشارك والرئيس التنفيذي لمنصة LLM Lamini، مجالًا آخر غير مستغل إلى حد كبير: البيانات الخاصة. تعمل الشركات على تأمين اتفاقيات الترخيص مع الناشرين للوصول إلى مجموعات هائلة من المعلومات. على سبيل المثال، عقدت شركة OpenAI شراكات مع منظمات مثل Vox Media وStack Overflow، وهي منصة للأسئلة والأجوبة للمطورين، لجلب البيانات المحمية بحقوق الطبع والنشر إلى نماذجها.

وقال تشو: “نحن لسنا قريبين حتى من استخدام جميع البيانات الخاصة في العالم لتكملة البيانات التي نحتاجها للتدريب المسبق”. “من خلال العمل مع مؤسستنا وحتى العملاء من الشركات الناشئة، هناك الكثير من الإشارات في تلك البيانات التي تعتبر مفيدة جدًا لهذه النماذج لالتقاطها.”

مشكلة في جودة البيانات

يركز الآن قدر كبير من الجهود البحثية على تحسين جودة البيانات التي يتم تدريب ماجستير إدارة الأعمال عليها بدلاً من الكمية فقط. وقال تشو إنه كان بإمكان الباحثين في السابق أن يكونوا “كسالى جدًا بشأن البيانات” في التدريب المسبق، وذلك بمجرد رمي النموذج قدر الإمكان لمعرفة ما عالق فيه. وقالت “هذا لم يعد صحيحا تماما بعد الآن”.

أحد الحلول التي تستكشفها الشركات هو البيانات الاصطناعية، وهي شكل اصطناعي من البيانات التي يتم إنشاؤها بواسطة الذكاء الاصطناعي.

وفقًا لدانييلي بانفيلو، الرئيس التنفيذي لشركة Aindo AI الناشئة، يمكن أن تكون البيانات الاصطناعية “أداة قوية لتحسين جودة البيانات”، لأنها يمكن أن “تساعد الباحثين على إنشاء مجموعات بيانات تلبي احتياجاتهم الدقيقة من المعلومات”. يعد هذا مفيدًا بشكل خاص في مرحلة تطوير الذكاء الاصطناعي المعروفة باسم ما بعد التدريب، حيث يمكن استخدام تقنيات مثل الضبط الدقيق لإعطاء نموذج تم تدريبه مسبقًا مجموعة بيانات أصغر تم تصميمها بعناية باستخدام خبرة في مجال محدد، مثل القانون أو الدواء.

قال أحد الموظفين السابقين في Google DeepMind، مختبر الذكاء الاصطناعي التابع لشركة البحث العملاقة، لـ BI إن “Gemini حولت استراتيجيتها” من التوسع إلى العمل الأكثر كفاءة. وقال الموظف السابق: “أعتقد أنهم أدركوا أن خدمة مثل هذه النماذج الكبيرة مكلفة للغاية، ومن الأفضل تخصيصها لمهام مختلفة من خلال تدريب أفضل بعد التدريب”.

من الناحية النظرية، توفر البيانات الاصطناعية طريقة مفيدة لصقل معرفة النموذج وجعله أصغر حجمًا وأكثر كفاءة. من الناحية العملية، لا يوجد إجماع كامل حول مدى فعالية البيانات الاصطناعية في جعل النماذج أكثر ذكاءً.

“ما اكتشفناه هذا العام من خلال بياناتنا الاصطناعية، التي تسمى Cosmopedia، هو أنها يمكن أن تساعد في بعض الأشياء، ولكنها ليست الحل السحري الذي سيحل مشكلة البيانات لدينا،” توماس وولف، المؤسس المشارك وكبير المسؤولين العلميين في المصدر المفتوح. منصة تعانق الوجه، قال BI.

وقال جوناثان فرانكل، كبير علماء الذكاء الاصطناعي في Databricks، إنه لا يوجد “غداء مجاني” عندما يتعلق الأمر بالبيانات الاصطناعية وشدد على الحاجة إلى الإشراف البشري. “إذا لم يكن لديك أي رؤية بشرية، ولم يكن لديك أي عملية تصفية واختيار البيانات التركيبية الأكثر صلة، فكل ما يفعله النموذج هو إعادة إنتاج سلوكه الخاص لأن هذا هو ما يهدف النموذج إلى القيام به قال.

وصلت المخاوف بشأن البيانات الاصطناعية إلى ذروتها بعد أن ذكرت ورقة بحثية نشرت في يوليو في مجلة نيتشر أن هناك خطر “انهيار النموذج” مع “الاستخدام العشوائي” للبيانات الاصطناعية. كانت الرسالة هي السير بحذر.

بناء آلة المنطق

بالنسبة للبعض، مجرد التركيز على جزء التدريب لن يفي بالغرض.

قال إيليا سوتسكيفر، كبير العلماء السابق في OpenAI والمؤسس المشارك لشركة Safe Superintelligence، لرويترز هذا الشهر إن نتائج توسيع نطاق النماذج في مرحلة ما قبل التدريب قد استقرت وأن “الجميع يبحث عن الشيء التالي”.

يبدو أن هذا “الشيء التالي” هو المنطق. لقد تحول اهتمام الصناعة بشكل متزايد إلى مجال الذكاء الاصطناعي المعروف باسم الاستدلال، والذي يركز على قدرة النموذج المدرب على الاستجابة للاستفسارات والمعلومات التي ربما لم يراها من قبل بقدرات التفكير المنطقي.

في حدث Ignite لشركة Microsoft هذا الشهر، قال الرئيس التنفيذي للشركة ساتيا ناديلا إنه بدلاً من رؤية ما يسمى بقوانين توسيع نطاق الذكاء الاصطناعي تصطدم بالحائط، كان يشهد ظهور نموذج جديد لـ “حوسبة وقت الاختبار”، وهو عندما يكون النموذج القدرة على استغراق وقت أطول للرد على المطالبات الأكثر تعقيدًا من المستخدمين. وأشار ناديلا إلى ميزة “التفكير بجدية أكبر” الجديدة لبرنامج Copilot – وكيل الذكاء الاصطناعي التابع لمايكروسوفت – والتي تعمل على زيادة وقت الاختبار “لحل المشكلات الأكثر صعوبة”.

وقال أيميريك تشو، المؤسس المشارك والرئيس التنفيذي لشركة Agemo الناشئة للذكاء الاصطناعي، إن استدلال الذكاء الاصطناعي “كان مجالًا نشطًا للبحث”، خاصة وأن “الصناعة تواجه جدار بيانات”. أخبر BI أن تحسين الاستدلال يتطلب زيادة وقت الاختبار أو حساب وقت الاستدلال.

عادةً، كلما استغرق النموذج وقتًا أطول لمعالجة مجموعة البيانات، زادت دقة النتائج التي يولدها. في الوقت الحالي، يتم الاستعلام عن النماذج بالمللي ثانية. وقال سيفيش سوكومار، المستثمر في شركة الاستثمار بالديرتون، لـ BI: “هذا غير منطقي تمامًا”. “إذا فكرت في كيفية عمل الدماغ البشري، فحتى أذكى الناس يستغرقون وقتًا للتوصل إلى حلول للمشكلات.”

في سبتمبر، أصدرت OpenAI نموذجًا جديدًا، o1، والذي يحاول “التفكير” في مشكلة ما قبل الاستجابة. قال أحد موظفي OpenAI، الذي طلب عدم ذكر اسمه، لـ BI أن “الاستدلال من المبادئ الأولى” ليس موطن قوة LLM لأنهم يعملون بناءً على “احتمال إحصائي للكلمات التي تأتي بعد ذلك”، ولكن إذا “أردناهم أن يفكروا” وحل مجالات المشاكل الجديدة، عليهم أن يفكروا”.

يعتقد نوام براون، الباحث في OpenAI، أن تأثير النموذج الذي يتمتع بقدرات تفكير أكبر يمكن أن يكون استثنائيًا. وقال خلال حديث في TED AI الشهر الماضي: “اتضح أن وجود روبوت يفكر لمدة 20 ثانية فقط في لعبة البوكر حصل على نفس الأداء المعزز مثل توسيع نطاق النموذج بمقدار 100000 مرة وتدريبه لمدة 100000 مرة أطول”. .

لم تستجب Google وOpenAI لطلب التعليق من Business Insider.

تصل طفرة الذكاء الاصطناعي إلى نقطة التحول

تمنح هذه الجهود الباحثين أسبابًا للبقاء متفائلين، حتى لو كانت العلامات الحالية تشير إلى معدل أبطأ في قفزات الأداء. وكما قال موظف سابق منفصل في DeepMind والذي عمل في Gemini لـ BI، فإن الناس “يحاولون باستمرار العثور على جميع أنواع التحسينات المختلفة”.

ومع ذلك، قد تحتاج الصناعة إلى التكيف مع وتيرة التحسن الأبطأ.

قال الموظف السابق في DeepMind لـ BI: “أعتقد أننا مررنا بهذه الفترة المجنونة حيث كانت النماذج تتحسن بسرعة كبيرة، منذ عام أو عامين مضت. لم يكن الأمر هكذا من قبل”. “لا أعتقد أن معدل التحسن كان بهذه السرعة هذا العام، لكنني لا أعتقد أن هذا يشبه بعض التباطؤ”.

ردد تشو لاميني هذه النقطة. قوانين القياس – ملاحظة أن نماذج الذكاء الاصطناعي تتحسن مع الحجم، والمزيد من البيانات، وزيادة قوة الحوسبة –وقالت إن العمل على مقياس لوغاريتمي وليس مقياسًا خطيًا. بمعنى آخر، فكر في تقدم الذكاء الاصطناعي باعتباره منحنى وليس خطًا صاعدًا مستقيمًا على الرسم البياني. وقال تشو إن ذلك يجعل التطوير أكثر تكلفة بكثير “مما كنا نتوقعه للخطوة الجوهرية التالية في هذه التكنولوجيا”.

وأضافت: “لهذا السبب أعتقد أن توقعاتنا لن تتحقق في الجدول الزمني الذي نريده، ولكن أيضًا السبب الذي يجعلنا نتفاجأ أكثر بالقدرات عندما تظهر”.

ستحتاج الشركات أيضًا إلى التفكير في مدى تكلفة إنشاء الإصدارات التالية من نماذجها ذات القيمة العالية. وفقًا لأمودي من Anthropic، قد تبلغ تكلفة التدريب في المستقبل 100 مليار دولار في يوم من الأيام. تشمل هذه التكاليف وحدات معالجة الرسومات واحتياجات الطاقة ومعالجة البيانات.

ويبقى أن نرى ما إذا كان المستثمرون والعملاء على استعداد للانتظار لفترة أطول للحصول على الذكاء الفائق الذي وعدوا به. على سبيل المثال، تؤدي المشكلات المتعلقة ببرنامج Copilot من Microsoft إلى تساؤل بعض العملاء عما إذا كانت الأداة التي تم الترويج لها كثيرًا تستحق المال.

في الوقت الحالي، يؤكد قادة الذكاء الاصطناعي أن هناك الكثير من الأدوات التي يمكن الاستفادة منها – بدءًا من مصادر البيانات الجديدة إلى التركيز على الاستدلال – لضمان استمرار تحسن النماذج. قد يتعين على المستثمرين والعملاء الاستعداد لهم ليأتوا بوتيرة أبطأ مقارنة بالوتيرة السريعة التي حددتها OpenAI عندما أطلقت ChatGPT قبل عامين.

وهناك مشاكل أكبر تنتظرنا إذا لم يفعلوا ذلك.