El Tribunal del Distrito de la Haya anunció que el algoritmo SyRI (System Risk Indication), utilizado por el gobierno de Países Bajos, vulnera el derecho a la privacidad de los ciudadanos, y además de estigmatizar y discriminar a ciertos grupos de la población. Por esas razones, el tribunal ha prohibido su uso, informó el diario El País.
Desde 2014, el Ministerio de Asuntos Sociales y Empleo de este país utiliza este sistema. SyRI compara bases en datos de pensiones, seguros, tipo de casa, impuestos, multas, integración, deudas, ingresos o subsidios de empleo para determinar quiénes tienen una mayor probabilidad de defraudar al Estado,
De acuerdo con el tribunal, aunque existe un objetivo legítimo para evitar un delito, el modelo que utiliza SyRI “puede tener efectos no deseados, como estigmatizar y discriminar a la ciudadanía, por la ingente cantidad de información que recoge”.
En octubre de 2018, el relator especial de la ONU sobre pobreza extrema y derechos humanos, remitió un informe a este tribunal en el que criticaba a SyRI ya que “señala a los ciudadanos con menos renta y a grupos de población de origen inmigrante”.
SyRI calcula posibles irregularidades con base en los datos personales de residentes –especialmente de barrios considerados como problemáticos– almacenados por el gobierno. Estos datos se comparan con perfiles de riesgo creados a partir de la información de otros ciudadanos que hayan delinquido y, al encontrar similitudes, se confecciona una lista de nombres que las autoridades pueden conservar hasta dos años.
Uno de los puntos de la demanda es que las y los ciudadanos no eran notificados de manera automática cuando estaban siendo analizados –por sospecha de abuso de las ayudas económicas, u otras actuaciones ilegales– sino que tenían que pedir consultar el informe.
Este fallo podría tener repercusiones legales a nivel internacional en torno a la discusión actual sobre si se debe depositar decisiones de gobierno en algoritmos que, desde diseño o en su aprendizaje, puedan tener algún sesgo no evidente.
Imagen de Pixabay
