- قال إيليا سوتسكيفر، أحد مؤسسي OpenAI، مؤخرًا إن صناعة الذكاء الاصطناعي وصلت إلى “ذروة البيانات”.
- يرى باحثو DeepMind أن مخرجات نماذج “الاستدلال” الجديدة هي مصدر لبيانات تدريب الذكاء الاصطناعي الجديدة.
- سيتم اختبار تقنية الذكاء الاصطناعي الجديدة، المعروفة باسم حوسبة وقت الاختبار، في عام 2025.
أعلن إيليا سوتسكيفر، المؤسس المشارك لشركة OpenAI، عن شيء ما في مؤتمر عُقد مؤخرًا كان من المفترض أن يجعل صناعة الذكاء الاصطناعي ترتجف من الخوف.
وقال خلال خطاب ألقاه في حدث نيوريبس السنوي في ديسمبر: “لقد حققنا ذروة البيانات ولن يكون هناك المزيد”.
لقد تم بالفعل استخدام جميع البيانات المفيدة الموجودة على الإنترنت لتدريب نماذج الذكاء الاصطناعي. أنتجت هذه العملية، المعروفة باسم التدريب المسبق، العديد من مكاسب الذكاء الاصطناعي الحديثة، بما في ذلك ChatGPT. لكن التحسينات تباطأت، وقال سوتسكيفر إن هذه الحقبة “ستنتهي بلا شك”.
وهذا احتمال مخيف لأن تريليونات الدولارات من قيمة سوق الأوراق المالية والاستثمار في الذكاء الاصطناعي تعتمد على النماذج المستمرة في التحسن.
ومع ذلك، لا يبدو أن معظم خبراء الذكاء الاصطناعي يشعرون بالقلق. لماذا؟
حساب وقت الاستدلال
قد تكون هناك طريقة للالتفاف حول جدار البيانات هذا. يتعلق الأمر بتقنية جديدة نسبيًا تساعد نماذج الذكاء الاصطناعي على “التفكير” في المهام الصعبة لفترة أطول.
يقوم هذا النهج، المسمى بحساب وقت الاختبار أو حساب وقت الاستدلال، بتقسيم الاستعلامات إلى مهام أصغر، وتحويل كل منها إلى مطالبة جديدة يتعامل معها النموذج. تتطلب كل خطوة تشغيل طلب جديد، وهو ما يعرف بمرحلة الاستدلال في الذكاء الاصطناعي.
وينتج عن ذلك سلسلة من التفكير يتم من خلالها معالجة كل جزء من المشكلة. لا ينتقل النموذج إلى المرحلة التالية حتى يحصل على كل جزء بشكل صحيح ويتوصل في النهاية إلى استجابة نهائية أفضل.
أصدرت OpenAI نموذجًا يسمى o1 في سبتمبر يستخدم حساب وقت الاستدلال. وتبع ذلك بسرعة شركة جوجل ومختبر الذكاء الاصطناعي الصيني DeepSeek، اللذان طرحا نماذج “استدلال” مماثلة.
“حلقة تكرارية للتحسين الذاتي”
وقد أظهر الاختبار القائم على المعايير لهذه النماذج الجديدة أنها غالبًا ما تولد مخرجات أفضل من أفضل النتائج السابقة للذكاء الاصطناعي، خاصة في أسئلة الرياضيات والمهام المماثلة ذات الإجابات النهائية الواضحة.
هذا هو المكان الذي تصبح فيه الأمور مثيرة للاهتمام. ماذا لو تم استخدام هذه المخرجات عالية الجودة لبيانات التدريب الجديدة؟ يمكن تغذية هذا الجبل من المعلومات الجديدة مرة أخرى في دورات تدريبية أخرى لنماذج الذكاء الاصطناعي لتحقيق نتائج أفضل.
نشر باحثو Google DeepMind بحثًا عن حوسبة وقت الاختبار في أغسطس واقترحوا هذه التقنية كطريقة محتملة للحفاظ على نماذج اللغة الكبيرة تتحسن من خلال جدار ذروة البيانات.
كتب الباحثون: “في المستقبل، نتصور أن مخرجات تطبيق حساب وقت الاختبار الإضافي يمكن استخلاصها مرة أخرى في ماجستير إدارة الأعمال الأساسي، مما يتيح حلقة تكرارية للتحسين الذاتي”. “ولتحقيق هذه الغاية، يجب أن يعمل العمل المستقبلي على توسيع النتائج التي توصلنا إليها ودراسة كيفية استخدام مخرجات تطبيق حساب وقت الاختبار لتحسين ماجستير إدارة الأعمال نفسه.”
محادثة مع أحد الباحثين في وقت الاختبار
المؤلفون هم تشارلي سنيل، وجيهون لي، وكلفن شو، وأفيرال كومار. لا يزال Xu يعمل في Google، ويقضي كومار بعضًا من وقته في DeepMind، بينما غادر Lee للانضمام إلى منافس OpenAI Anthropic.
شارك سنيل في كتابة الورقة أثناء تدريبه في Google DeepMind. لقد عاد الآن إلى جامعة كاليفورنيا في بيركلي، لذلك اتصلت به لأسأله عن السبب الذي ألهم هذا البحث.
قال لي في مقابلة أجريت معه مؤخرًا: “لقد حفزتني بعض الأشياء التي تمنع التدريب المسبق من الاستمرار في التوسع، ولا سيما العرض المحدود من البيانات”.
وأضاف: “إذا كان بإمكانك الحصول على نموذج ذكاء اصطناعي لاستخدام حساب وقت الاستدلال الإضافي وتحسين مخرجاته، فهذه طريقة لتوليد بيانات تركيبية أفضل”. “هذا مصدر جديد مفيد لبيانات التدريب. ويبدو أن هذه طريقة واعدة للتغلب على اختناقات بيانات ما قبل التدريب.”
ساتيا راضية
في بث صوتي حديث، بدا الرئيس التنفيذي لشركة مايكروسوفت، ساتيا ناديلا، غير منزعج وحتى مزدهر عندما سُئل عن التباطؤ في تحسين نموذج الذكاء الاصطناعي ونقص بيانات التدريب الجديدة عالية الجودة.
ووصف حساب وقت الاستدلال بأنه “قانون قياس آخر”.
وأوضح قائلاً: “لذا، يكون لديك تدريب مسبق، ومن ثم يكون لديك بشكل فعال عينات وقت الاختبار هذه التي تقوم بعد ذلك بإنشاء الرموز المميزة التي يمكن أن تعود إلى التدريب المسبق، وإنشاء نماذج أكثر قوة والتي تعمل بعد ذلك بناءً على استنتاجك”.
وأضاف ناديلا مبتسماً: “أعتقد أن هذه طريقة رائعة لزيادة قدرة النموذج”.
ذكر سوتسكيفر أيضًا حساب وقت الاختبار كأحد الحلول الممكنة لمشكلة ذروة البيانات، خلال حديثه مع نيوريبس في أوائل ديسمبر.
وقت الاختبار لحساب وقت الاختبار
وسيشهد عام 2025 اختبار هذا النهج. إنها ليست ضربة قاضية، على الرغم من أن سنيل متفائل.
وقال عن تقدم الذكاء الاصطناعي: “على مدى السنوات الثلاث الماضية أو نحو ذلك، بدا الأمر أكثر وضوحا”. “نحن الآن في هذا الوضع الاستكشافي.”
سؤال واحد مفتوح: ما مدى نجاح تقنية حساب وقت الاختبار في التعميم؟ قال سنيل إنه يؤدي أداءً جيدًا مع الأسئلة التي تكون الإجابة عليها معروفة ويمكنك التحقق منها، مثل تحدي الرياضيات.
وأوضح: “لكن الكثير من الأشياء التي تحتاج إلى تفكير ليس من السهل التحقق منها. على سبيل المثال، كتابة مقال. لا توجد في كثير من الأحيان إجابة مباشرة حول مدى جودة ذلك”.
ومع ذلك، هناك علامات مبكرة على النجاح، ويعتقد سنيل أن مخرجات هذه الأنواع من نماذج الذكاء الاصطناعي الاستدلالية تُستخدم بالفعل لتدريب نماذج جديدة.
وقال: “هناك فرصة جيدة لأن تكون هذه البيانات الاصطناعية أفضل مما هو موجود على الإنترنت”.
وأوضح سنيل أنه إذا كانت المخرجات من نموذج O1 الخاص بـ OpenAI أفضل من GPT-4، وهو النموذج الأعلى السابق للشركة الناشئة، فيمكن من الناحية النظرية إعادة استخدام هذه المخرجات الجديدة للتدريب على نماذج الذكاء الاصطناعي المستقبلية.
شارك بمثال نظري: لنفترض أن o1 حصل على درجة 90% في معيار معين للذكاء الاصطناعي، يمكنك أخذ هذه الإجابات وإدخالها إلى GPT-4 والحصول على ما يصل إلى 90% من هذا النموذج أيضًا.
وقال سنيل: “إذا كان لديك مجموعة كبيرة من المطالبات، فيمكنك الحصول على مجموعة من البيانات من o1 وإنشاء مجموعة كبيرة من أمثلة التدريب وتدريب نموذج جديد مسبقًا عليها، أو مواصلة تدريب GPT-4 ليكون أفضل”. .
أشار تقرير TechCrunch الصادر في أواخر ديسمبر إلى أن DeepSeek ربما استخدمت مخرجات OpenAI's o1 لتدريب نموذج الذكاء الاصطناعي الخاص بها. أحدث عروضها، والتي تسمى DeepSeek V3، تحقق أداءً جيدًا وفقًا لمعايير الصناعة.
وقال سنيل: “ربما كانوا أول من قام بتكاثر o1”. “لقد سألت الأشخاص في OpenAI عن رأيهم في الأمر. قالوا إنه يبدو نفس الشيء، لكنهم لا يعرفون كيف فعل DeepSeek هذا بهذه السرعة.”
ولم يستجب OpenAI وDeepSeek لطلبات التعليق.