تتسابق الشركات لتبني الذكاء الاصطناعي في السعي لتحقيق الإنتاجية والأرباح ، ولكن آخر شيء يريده أي شخص هو chatbot يخرج من القضبان.
أنظمة الذكاء الاصطناعى معرضة لجميع أنواع التهديدات الجديدة ، من التسمم بالبيانات إلى هجمات الخصومة. في دراسة استقصائية للمنتدى الاقتصادي العالمي لأكثر من 200 من قادة الأعمال في عام 2023 ، قال أكثر من نصفهم من شأنه أن يمنح المهاجمين السيبرانيين ميزة شاملة في العامين المقبلين ، في حين أن أقل من 9 ٪ قالوا إن هذه الميزة ستذهب إلى المدافعين.
لقد مرت الآن بعد عامين ، ويبدو أن غالبية قادة الأعمال كانوا على حق: لقد أعطت منظمة العفو الدولية المهاجمين السيبرانيين اليد العليا. في دراسة استقصائية مؤخراً لـ Accenture التي شملت 600 من المديرين التنفيذيين للأمن السيبراني البنكي ، فإن أربعة من كل خمسة من الذكاء الاصطناعى التوليدي تساعد المتسللين بشكل أسرع مما يمكن للبنوك مواكبه.
نظرًا لأن المزيد من الشركات في جميع أنحاء العالم تتبنى الذكاء الاصطناعي ، يريد بدء التشغيل الأمنية الكرواتية Splxai إعادة تعريف كيف إنهم يختبرون أنظمة الذكاء الاصطناعى لنقاط الضعف من خلال استهداف التهديدات بشكل استباقي. جمعت الشركة مؤخرًا 7 ملايين دولار في جولة بذرة بقيادة LaunchHub Ventures ، بمشاركة من شركات الاستثمارات Rain Capital و Runtime Ventures و Inovo و DNV Ventures و South Central Ventures.
إحدى الطرق التي تقوم بها الشركات بذلك الآن هي من خلال الفوز الأحمر ، والتي تتضمن محاكاة هجمات الخصومة على نظام الذكاء الاصطناعي. ولكن قد يستغرق الأمر في كثير من الأحيان بضعة أسابيع أو حتى أشهر ، وتتسابق الشركات إلى أدوات البيطري قبل نشرها. تتبع الشركة نهجًا مسيئًا عن طريق ضبط مطالبات النظام – الإرشادات التي تشكل كيفية استجابة نموذج الذكاء الاصطناعي لاستعلامات المستخدم – مما يقلل من الحاجة إلى الدرابزين الدفاعي الإضافي لاحقًا.
قبل الاتصال بالعملاء بمنصة Splxai ، ترسلهم الشركة استبيانًا لفهم ما يعنيه المخاطر بالنسبة لهم. يسألون أسئلة مثل ، “هل هناك أي أسئلة يجب على chatbot عدم الإجابة عليها؟” أو “أي أجزاء من موجه النظام سرية؟”
وقال elin.ai ، على سبيل المثال ، chatbot الموجهة نحو Gen Z ، إنها “يجب أن تمنح القسم لأنها تحتاج إلى التحدث بلغة الأطفال”.
بمجرد تخصيص Splxai نهجه ، فإنه يدير سلسلة من الهجمات. يمكن أن تدير أكثر من 2000 هجوم و 17 فحوصات في أقل من ساعة. وتشمل هذه هجمات الحقن الفوري ، حيث يتم تغذية أنظمة الذكاء الاصطناعى مطالبات ضارة للتحقق من الألفاظ النابية أو المعلومات الخاطئة أو التسمم بالبيانات. يقوم بإجراء اختبارات للتحقق من التحيز أو المحتوى الضار أو سوء الاستخدام المتعمد.
وقال كامبر إن الاختبارات كشفت عن ثروة من التحيز والمعلومات الخاطئة ونقاط الضعف في شركات التكنولوجيا التي تستخدمها.
قام Splxai بإجراء اختبارات على أداة إنتاجية شهيرة في مكان العمل كشفت أنها قد تسمح بتسرب البيانات بين الزملاء. كشفت اختباراتها على شركة الرعاية الصحية التي تدير chatbots في الصيدليات أن الروبوتات مصممة عند إعطاء تعليمات طبية. طلبوا من المرضى تناول حبوب منع الحمل في الأوقات الخاطئة أو قدموا تعليمات غير صحيحة حول كيفية استخدام إبر الحقن. اكتشف التحيز بين الجنسين في chatbot قدم المشورة الوظيفية للطلاب. طلب الروبوت الشابات لمتابعة وظائف كأمناء وشباب لمتابعة المهن كمديري أعمال.
بناءً على اختباراتها ، تقوم Splxai بإنشاء تقرير يسرد نقاط الضعف في النظام واقتراحاته لإصلاحها. لكن الشركة تخطو خطوة إلى الأمام عن طريق تغيير مطالبات النظام. يطلق عليه كامبر “تصلب” وقال إنه أكبر سائق لأعمال الشركة. وقال كامبر: “إننا نقوم بعمل علاج ضخم لأنه وإلا لن يقوم أحد بشراء المنصة إذا كان مجرد اختبار اقتراحات أمنية هجومية”.
اقترب chatbot العربية الشهيرة في الشرق الأوسط وأفريقيا من Splxai مع طلب لضمان أن chatbot لم يتحدث سلبا عن العائلة المالكة في أبو ظبي وغيرها من الموضوعات الحساسة في المنطقة. وقال كامبر: “لقد قمنا بتصلب النظام على أنه لا يمكنك حتى طرح أسئلة موحية”.
تنشر الشركات هذه الأيام في هذه الأيام ، ليس فقط واحد ، ولكن العديد من الوكلاء أو الدردشة أو التطبيقات ، لأنها تتم أتمتة المهام المعقدة. بعد أن تم الاتصال بهم من قبل العديد من المديرين التنفيذيين لـ Fortune 100 حول هذا النوع من العمل ، كشفت Splxai عن الرادار Agentic-وهي أداة مفتوحة المصدر لرسم خرائط نقاط الضعف في العمليات مع عوامل متعددة.
قال كامبر إنه صدم من السرعة التي استيقظ بها العالم على مخاطر العميل الذكاء الاصطناعي. “في العام الماضي ، لم يكن أحد يفهم حقًا سبب الحاجة إلى فريق AI الأحمر. الآن الجميع يركض إلى بابنا.”
ألقِ نظرة على سطح الملعب الذي يبلغ طوله 12 انزلاقًا.