Courtesy of Wired
Sejak tahun 2010-an, algoritma yang digunakan untuk mendeteksi penipuan dalam sistem bantuan sosial di Prancis telah dipermasalahkan oleh 15 kelompok, termasuk Amnesty International. Mereka berargumen bahwa algoritma ini melanggar aturan privasi Eropa dan hukum anti-diskriminasi di Prancis. Algoritma ini menganalisis data pribadi lebih dari 30 juta orang untuk memberi nilai antara 0 dan 1, berdasarkan kemungkinan mereka menerima pembayaran yang tidak seharusnya. Kelompok-kelompok tersebut meminta agar algoritma ini dibatalkan karena mereka percaya dapat menyebabkan surveilans yang besar dan menyerang hak privasi, terutama bagi orang-orang yang rentan.
Hasilnya, kelompok seperti La Quadrature du Net menunjukkan bahwa algoritma ini secara tidak langsung mendiskriminasi kelompok yang terpinggirkan, seperti penyandang disabilitas dan keluarga ibu tunggal. Banyak orang yang menerima bantuan sosial, termasuk mereka dari komunitas berpenghasilan rendah, sering kali mengalami akibat berat akibat penilaian algoritma ini, seperti penyelidikan yang menegangkan dan penangguhan pembayaran bantuan. Kasus ini juga dapat mempengaruhi bagaimana aturan baru Uni Eropa tentang penggunaan kecerdasan buatan akan diterapkan di masa mendatang, dengan rencana untuk melarang "penilaian sosial" yang merugikan.