El uso sin transparencia, supervisión, ni rendición de cuentas de un algoritmo discriminatorio en Países Bajos provocó que 26 mil familias inocentes fueran acusadas de fraude a los programas de beneficios sociales de este país.
Una investigación de un año y medio de la Autoridad de Protección de Datos Neerlandesa encontró que los algoritmos eran inherentemente discriminatorios, ya que por ejemplo, tomaban en cuenta variables como una doble nacionalidad, lo que caracteriza a muchas personas de primera y segunda generación de migrantes en el país.
El escándalo resultado de las revelaciones en este país obligó a que el mes pasado el primer ministro y todo su gabinete tuvieran que renunciar, informó Motherboard.
Desde 2013, el gobierno neerlandés comenzó a utilizar algoritmos para crear perfiles de “riesgo” de personas que serían propensas al fraude y a través de sistemas automatizados identificar cuando supuestamente alguien defraudara al estado y obligarlo a pagar el dinero que habían obtenido.
Antes, identificar a una persona como “defraudadora”, quitarle sus beneficios sociales y obligarla a devolver el dinero habría tomado un proceso exhaustivo de revisión por personas, pero con la adopción de los sistemas automatizados estas decisiones se volvieron repentinas y con causas tan absurdas como no haber firmado un documento.
Los daños financieros y sociales a las familias acusadas sin fundamento de fraude fueron mayúsculos, obligándolas a pagar miles o decenas de miles de euros en multas, sin la posibilidad de acceder a esquemas de financiamiento y llevándolas a la bancarrota.
Las investigaciones de otras autoridades y de medios informativos revelaron que la enorme mayoría de las víctimas de estos esquemas son personas de color, lo que remarca cómo los algoritmos pueden repetir y perpetuar el racismo estructural e institucional.
“Los sistemas y algoritmos son hechos por humanos y hacen exactamente lo que les fue instruido. […] Lo que es importante entender es que muchas veces los algoritmos pueden utilizar datos históricos sin ninguna interpretación apropiada de su contexto. Con esos patrones, solo puedes esperar que problemas como el racismo institucional crezcan. El resultado es un ciclo de retroalimentación que incrementa problemas sociales que ya existen”, explicó la especialista Nadia Benaissa de la organización Bits of Freedom a Motherboard.
Imagen de Many Wonderful Artists
