La Relatoría Especial de las Naciones Unidas sobre formas contemporáneas de racismo, discriminación racial, xenofobia e intolerancia relacionada presentó su último informe, donde aborda la problemática que existe entre el uso de inteligencia artificial y las diferentes manifestaciones de discriminación racial basado en cuatro ejes transversales: los problemas relacionados con los datos, el diseño de algoritmos, el uso intencionalmente discriminatorio de la IA y la rendición de cuentas en el uso de estos sistemas.
Sobre el tema, la Relatoría afirma que existe una preocupación porque la “gestión y regulación de la inteligencia artificial no avanzan al mismo ritmo que el crecimiento de esta tecnología y que los nuevos esfuerzos por gobernarla y regularla no presten suficiente atención a su enorme capacidad actual y a su potencial futuro para perpetuar y profundizar la discriminación racial sistémica.”
Si bien puede existir la creencia de que la tecnología es neutra, el informe enfatiza que ésta nunca lo es, ya que refleja los valores e intereses de quienes influyen en su diseño y uso, y regularmente se fundamenta por las mismas estructuras de desigualdad que operan en nuestra sociedad.
Este sesgo en su diseño, además de los datos usados para su entrenamiento que suelen ser incompletos o infrarrepresentan a determinados grupos de personas, pueden hacer predicciones sistemáticamente discriminatorias, lo que les hace entrar en un círculo de retroalimentación de datos que afecta profundamente a grupos étnicos o racializados en todo el mundo.
La Relatoría también reconoce el gran problema que el uso de estos sistemas trae para la privacidad, ya que suelen incluir información personal de las personas, además de que la recogida y el tratamiento de datos sin un consentimiento informado y explícito, vulnera el derecho a la intimidad.
Sobre esto podemos señalar el caso reciente de Brasil, donde se usaron fotografías de infancias y adolescencias, sin su consentimiento o el de sus personas cuidadoras, para entrenar poderosas herramientas de inteligencia artificial, vulnerando su derecho a la privacidad y exponiendo información sensible de estas infancias.
En el informe también se eligieron ámbitos como la aplicación de la ley, la seguridad y el sistema de justicia penal; la educación; y la atención de la salud, como algunos de los más importantes para ejemplificar el impacto discriminatorio de la inteligencia artificial.
Hablando sobre aplicación de la ley y seguridad, las fuerzas del orden han utilizado herramientas de identificación automatizadas o de reconocimiento facial, para relacionar lo que observan en un entorno intentando crear una posible “coincidencia” con sus bases de datos. Estas prácticas han sido ampliamente cuestionadas por personas expertas en derechos humanos, poniendo como principal argumento el alto índice de falsos positivos para personas racializadas o pertenecientes a la comunidad trans.
Algunos estudios han detectado una sobrerrepresentación de hombres de mediana edad y una infrarrepresentación de personas racializadas. También detectaron sistemas comerciales de reconocimiento facial con algoritmos de clasificación de género que se entrenan con conjuntos de datos que reúnen, de manera abrumadora, rostros masculinos blancos.
La falta de diversidad racial, de género y cultural en los conjuntos de datos que están entrenando las herramientas de inteligencia artificial incrementa las probabilidades de ofrecer coincidencias erróneas respecto a los grupos infrarrepresentados, generando abusos, detenciones arbitrarias y afectaciones a la vida de miles de personas, como le ocurrió a Porcha Woodruff, una mujer embarazada que fue acusada injustamente por robo en Estados Unidos, luego de sufrir una falsa coincidencia con tecnología de reconocimiento facial.
Otro de los temas que aborda el informe son los de educación, algoritmos de calificación y tecnologías de reconocimiento facial en entornos educativos. Sobre los algoritmos de calificación podemos resaltar el caso del uso de herramientas para detectar textos generados por IA generativa por parte de educadores, donde se pudo observar que estas herramientas tenían un sesgo bastante claro en contra de personas cuyo idioma principal no era el inglés, calificando sus ensayos de plagio por utilizar verbos y conjugaciones más básicas que compañeras o compañeros con inglés nativo.
Sobre la vigilancia en escuelas, la Relatora Especial de Naciones Unidas sobre el derecho a la educación, Fareed Shaheed, se posicionó en contra “de la vigilancia, ya sea física o en línea, de las instituciones educativas, personal educativo y estudiantes, y prohibir las tecnologías de reconocimiento facial en dichas instituciones”.
Imagen: (CC-BY) Gibrán Aquino
