تحولت حماسة ماري لويس للانتقال إلى شقة في ماساتشوستس في ربيع عام 2021 إلى فزع عندما تلقت لويس، وهي امرأة سوداء، رسالة بريد إلكتروني تفيد بأن “خدمة طرف ثالث” رفضت إيجارها.
تضمنت خدمة الطرف الثالث هذه خوارزمية مصممة لتسجيل المتقدمين للاستئجار، والتي أصبحت موضوع دعوى قضائية جماعية، مع لويس على رأسها، زاعمة أن الخوارزمية تميز على أساس العرق والدخل.
وافق قاض فيدرالي على تسوية في الدعوى، وهي الأولى من نوعها، يوم الأربعاء، حيث وافقت الشركة التي تقف وراء الخوارزمية على دفع أكثر من 2.2 مليون دولار وإلغاء أجزاء معينة من منتجات الفحص التي زعمت الدعوى أنها تمييزية.
لا تتضمن التسوية أي اعتراف بالخطأ من قبل شركة SafeRent Solutions، التي قالت في بيان لها إنه على الرغم من أنها “لا تزال تعتقد أن نتائج SRS تتوافق مع جميع القوانين المعمول بها، فإن التقاضي يستغرق وقتًا طويلاً ومكلفًا”.
في حين أن مثل هذه الدعاوى القضائية قد تكون جديدة نسبيًا، فإن استخدام الخوارزميات أو برامج الذكاء الاصطناعي لفحص أو تسجيل الأمريكيين ليس جديدًا. لسنوات عديدة، ساعد الذكاء الاصطناعي بشكل خفي في اتخاذ قرارات مهمة بالنسبة للمقيمين في الولايات المتحدة.
عندما يقدم شخص ما طلب عمل، أو يتقدم بطلب للحصول على قرض منزل أو حتى يبحث عن رعاية طبية معينة، فمن المحتمل أن يقوم نظام الذكاء الاصطناعي أو الخوارزمية بتسجيل النقاط أو تقييمها كما فعلت مع لويس. ومع ذلك، فإن أنظمة الذكاء الاصطناعي هذه غير منظمة إلى حد كبير، على الرغم من أن بعضها قد وجد أنه يميز.
وقال تود كابلان، أحد محامي لويس: “تحتاج شركات الإدارة وأصحاب العقارات إلى معرفة أنهم الآن على علم، وأن هذه الأنظمة التي يفترضون أنها موثوقة وجيدة سوف يتم تحديها”.
زعمت الدعوى القضائية أن خوارزمية SafeRent لم تأخذ في الاعتبار فوائد قسائم الإسكان، والتي قالوا إنها تفاصيل مهمة لقدرة المستأجر على دفع الفاتورة الشهرية، وبالتالي فإنها تميز ضد المتقدمين ذوي الدخل المنخفض المؤهلين للحصول على المساعدة.
واتهمت الدعوى أيضًا خوارزمية SafeRent بالاعتماد بشكل كبير على المعلومات الائتمانية. وجادلوا بأنه يفشل في إعطاء صورة كاملة لقدرة مقدم الطلب على دفع الإيجار في الوقت المحدد ويضر بشكل غير عادل بالمتقدمين الذين لديهم قسائم إسكان وهم من السود واللاتينيين، ويرجع ذلك جزئيًا إلى أن متوسط درجاتهم الائتمانية أقل، وهو ما يعزى إلى عدم المساواة التاريخية.
وقالت كريستين ويبر، أحد محامي المدعي، إنه لمجرد أن الخوارزمية أو الذكاء الاصطناعي غير مبرمج للتمييز، فإن البيانات التي تستخدمها الخوارزمية أو أوزانها يمكن أن يكون لها “نفس التأثير كما لو طلبت منها التمييز عمداً”.
عندما تم رفض طلب لويس، حاولت استئناف القرار، وأرسلت مرجعين من أصحاب العقارات لإثبات أنها دفعت الإيجار مبكرًا أو في الوقت المحدد لمدة 16 عامًا، حتى لو لم يكن لديها تاريخ ائتماني قوي.
كانت لويس، التي كانت لديها قسيمة سكن، تتدافع، بعد أن أبلغت مالك المنزل السابق بأنها ستخرج، وتم تكليفها برعاية حفيدتها.
وجاء في الرد من شركة الإدارة، التي استخدمت خدمة فحص SafeRent، ما يلي: “نحن لا نقبل الطعون ولا يمكننا تجاوز نتيجة فحص المستأجر”.
شعر لويس بالهزيمة. وقالت إن الخوارزمية لم تعرفها.
“كل شيء يعتمد على الأرقام. قال لويس: “لا تحصل على التعاطف الفردي منهم”. “لا يوجد ضرب للنظام. النظام سيهزمنا دائمًا».
في حين اقترح المشرعون في الولاية لوائح تنظيمية صارمة لهذه الأنواع من أنظمة الذكاء الاصطناعي، فقد تم تطبيق هذه المقترحات إلى حد كبير فشل في الحصول على الدعم الكافي. وهذا يعني أن الدعاوى القضائية مثل دعوى لويس بدأت في إرساء الأساس لمساءلة الذكاء الاصطناعي.
جادل محامو دفاع SafeRent في اقتراح لرفض أنه لا ينبغي تحميل الشركة مسؤولية التمييز لأن SafeRent لم تكن تتخذ القرار النهائي بشأن قبول المستأجر أو رفضه. ستقوم الخدمة بفحص المتقدمين وتسجيلهم وتقديم تقرير، ولكنها تترك الأمر لأصحاب العقارات أو شركات الإدارة لقبول المستأجر أو رفضه.
وجادل محامو لويس، إلى جانب وزارة العدل الأمريكية، التي قدمت بيان الاهتمام بالقضية، بأن خوارزمية SafeRent يمكن أن تتعرض للمساءلة لأنها لا تزال تلعب دورًا في الوصول إلى السكن. رفض القاضي طلب SafeRent بالرفض بناءً على هذه التهم.
تنص التسوية على أن SafeRent لا يمكنها تضمين ميزة النتيجة الخاصة بها في تقارير فحص المستأجر في حالات معينة، بما في ذلك إذا كان مقدم الطلب يستخدم قسيمة الإسكان. ويتطلب أيضًا أنه إذا قامت SafeRent بتطوير درجة فحص أخرى تخطط لاستخدامها، فيجب التحقق من صحتها من قبل طرف ثالث يوافق عليه المدعون.
عثر ابن لويس على شقة بأسعار معقولة لها على Facebook Marketplace، ثم انتقلت إليها منذ ذلك الحين، على الرغم من أنها كانت أغلى بـ 200 دولار وفي منطقة أقل رغبة.
قال لويس: “لست متفائلاً بأنني سأحصل على فترة راحة، لكن يجب أن أستمر في ذلك، هذا كل شيء”. “لدي الكثير من الأشخاص الذين يعتمدون علي.”
___
جيسي بيداين هو عضو في وكالة أسوشيتد برس/تقرير لمبادرة أخبار ستيت هاوس الأمريكية. تقرير لأمريكا هو برنامج خدمة وطنية غير ربحي يضع الصحفيين في غرف الأخبار المحلية للإبلاغ عن القضايا السرية.
