Una investigación realizada por personas asociadas de la Fundación Mozilla revela que escalar los conjuntos de datos usados para entrenar a sistemas de inteligencia artificial generativa incrementa significativamente los resultados con contenido racista, misógino o discriminatorio. 

Los sistemas de inteligencia artificial generativa ─como Dall-E o Stable Diffusion─ son capaces de generar texto, imágenes u otros medios respondiendo a comandos introducidos por las personas usuarias. Estos modelos aprenden de patrones o estructuras que les dan sus datos de entrenamiento para generar nueva información de características similares.

Existe la noción de que estos modelos de aprendizaje automatizado mejoran cuando son entrenados con un conjunto de datos más homogéneo, por lo que estas bases se escalan ─es decir, reciben un procesamiento para estandarizar o normalizar los datos─ para reducir la dispersión entre los valores. El escalado de datos es una práctica relativamente habitual en el entrenamiento de sistemas automatizados para hacerlos “más eficientes”.

Sin embargo, la investigación encontró que al escalar los conjuntos de datos de estos modelos generativos, también incrementará la cantidad de contenido de odio y sus efectos secundarios, según los resultados que obtuvieron en pruebas a conjuntos de datos de entrenamiento multimodales de código abierto.

Las pruebas realizadas en los modelos LAION-400M, que consta de 400 millones de muestras, y LAION-2B-es, que consta de 2.000 millones, descubrieron que los contenidos que incitan al odio, además de estereotipos negativos y otras representaciones nocivas aparecían en una proporción significativamente mayor (cerca del 12%) en el conjunto de datos LAION-2B-es, que era el de mayor tamaño.

A su vez, la investigación reveló el impacto que esto puede traer a los modelos en un futuro. El equipo utilizó el conjunto de datos más extenso para contrastarlo con la Base de Rostros de Chicago, un repositorio de imágenes faciales usado con fines académicos. La prueba dio como resultado la asociación de hombres racializados hasta cinco veces más frecuentemente con palabras como “delincuencia”, “criminal” o “sospechoso” que el modelo más pequeño; lo mismo ocurrió con mujeres racializadas en el doble de ocasiones. 

La Dra. Abeba Birhane, asociada sénior del proyecto de IA Confiable de la Fundación Mozilla, señala que la investigación contradice la creencia habitual de que el escalamiento de datos es una solución a la discriminación. Por el contrario, la evidencia del estudio demuestra que, lejos de reducir los sesgos, esta práctica los amplifica.

“La escala es presentada como un atajo para evadir diversos problemas relacionados con la curaduría de conjuntos de datos, como el contenido problemático […] la gran escala es vista como un sustituto de tener datos de calidad y se asegura de cubrir el rastro de las muestras ‘inusuales’”, señala la publicación. “Esta narrativa de que ‘la escala vence al ruido’ ha enmarcada tácticamente a la curaduría manual y cuidados de conjuntos de datos como un problema costoso que puede ser ‘resuelto’ mediante una escala mayor.”

Imagen: (CC-BY) Gibrán Aquino