Roblox ، منصة الألعاب عبر الإنترنت تحظى بشعبية كبيرة بين الأطفال والمراهقين، يتم طرح نسخة مفتوحة المصدر من نظام الذكاء الاصطناعي الذي تقول إنه يمكن أن يساعد في اكتشاف اللغة المفترسة بشكل استباقي في محادثات اللعبة.
وتأتي هذه الخطوة في الوقت الذي تواجه فيه الشركة دعاوى قضائية وانتقادات تتهمها بعدم القيام بما يكفي لحماية الأطفال من الحيوانات المفترسة. على سبيل المثال ، تزعم دعوى قضائية رفعت الشهر الماضي في ولاية أيوا أن فتاة تبلغ من العمر 13 عامًا قد تعرفت على مفترس بالغ على Roblox ، ثم اختطفت وتهريبها عبر عدة ولايات واغتصابها. تدعي الدعوى ، المقدمة في محكمة مقاطعة أيوا في مقاطعة بولك ، أن ميزات تصميم Roblox تجعل الأطفال الذين يستخدمونها “فريسة سهلة لمشاهدة الأطفال”.
تقول Roblox إنها تسعى جاهدة لجعل أنظمتها آمنة قدر الإمكان افتراضيًا ولكنها تشير إلى أن “لا يوجد نظام مثالي ، وواحد من أكبر التحديات في الصناعة هو اكتشاف الأضرار الحرجة مثل تعرض الأطفال المحتملين للخطر”.
يساعد نظام الذكاء الاصطناعي ، المسمى Sentinel ، في اكتشاف العلامات المبكرة لتهديد الأطفال المحتملين ، مثل اللغة الاستغلالية الجنسية. يقول Roblox إن النظام قاد الشركة إلى تقديم 1200 تقرير عن محاولات محتملة في استغلال الأطفال للمركز الوطني للأطفال المفقودين والمستغلين في النصف الأول من عام 2025. الشركة الآن بصدد الاستعانة بمصادر مفتوحة حتى تتمكن المنصات الأخرى من استخدامها أيضًا.
يمكن أن يكون اكتشاف المخاطر المحتملة على الأطفال أمرًا صعبًا بشكل استباقي لأنظمة الذكاء الاصطناعى – والبشر أيضًا – لأن المحادثات يمكن أن تبدو غير ضارة في البداية. أسئلة مثل “كم عمرك؟” أو “من أين أنت؟” لن ترفع بالضرورة أعلام حمراء من تلقاء نفسها ، ولكن عندما يتم وضعها في سياقها على مدار محادثة أطول ، يمكنهم تحمل معنى مختلف.
لا يسمح ROBLOX ، التي لديها أكثر من 111 مليون مستخدم شهريًا ، للمستخدمين بمشاركة مقاطع الفيديو أو الصور في الدردشات ويحاول حظر أي معلومات شخصية مثل أرقام الهواتف ، على الرغم من – كما هو الحال مع معظم قواعد الاعتدال – يجد الأشخاص دائمًا طرقًا للتغلب على مثل هذه الضمانات.
كما أنه لا يسمح للأطفال دون سن 13 عامًا بالدردشة مع مستخدمين آخرين خارج الألعاب ما لم يكن لديهم إذن الوالدين الصريح – وعلى عكس العديد من المنصات الأخرى ، فإنه لا يشفر محادثات الدردشة الخاصة ، بحيث يمكنها مراقبةها وتعديلها.
وقال مات كوفمان ، كبير موظفي السلامة في روبوكس: “لقد كان لدينا مرشحات في مكانها طوال الوقت ، لكن هذه المرشحات تميل إلى التركيز على ما يقال في سطر واحد من النص أو ضمن بضعة أسطر من النص. وهذا أمر جيد حقًا لفعل أشياء مثل منع الألفاظ النابية وحظر أنواع مختلفة من اللغة المسيئة وأشياء من هذا القبيل”. “ولكن عندما تفكر في أشياء تتعلق بتعريض الأطفال للخطر أو الاستمالة ، فإن أنواع السلوكيات التي تبحث عنها على مدار فترة زمنية طويلة جدًا.”
يلتقط Sentinel لقطات دقيقة واحدة من الدردشات عبر Roblox-حوالي 6 مليارات رسالة يوميًا-وتحليلها للأضرار المحتملة. للقيام بذلك ، تقول Roblox إنها طورت فهسين – واحدة تتكون من رسائل حميدة ، والآخر ، والمحادثات التي كانت مصممة على احتواء انتهاكات تعرض الأطفال للخطر. يقول Roblox إن هذا يتيح للنظام التعرف على الأنماط الضارة التي تتجاوز ببساطة وضع كلمات أو عبارات معينة ، مع أخذ المحادثة بأكملها في السياق.
“يتحسن هذا الفهرس أثناء اكتشاف المزيد من الجهات الفاعلة السيئة ، نقوم فقط بتحديث هذا الفهرس باستمرار. ثم لدينا عينة أخرى من ما يفعله المستخدم العادي العادي؟” وقال نارين كونيرو ، نائب رئيس الهندسة من أجل الثقة والسلامة في روبوكس.
بينما يتحدث المستخدمون ، يحتفظ النظام بالدرجات – هل هم أقرب إلى المجموعة الإيجابية أو الكتلة السلبية؟
وقال كونيرو: “لا يحدث هذا في رسالة واحدة لأنك ترسل رسالة واحدة فقط ، ولكن يحدث ذلك بسبب كل تفاعلات أيامك تؤدي نحو واحدة من هذين”. “ثم نقول ، حسنًا ، ربما يكون هذا المستخدم هو الشخص الذي نحتاج إلى إلقاء نظرة فاحصة على ذلك ، ثم نذهب لسحب جميع محادثاتهم الأخرى والأصدقاء الآخرين والألعاب التي لعبوها ، وكل هذه الأشياء.”
يقوم البشر بمراجعة التفاعلات المحفوفة بالمخاطر والعلم لإنفاذ القانون وفقًا لذلك.
