Un sistema de inteligencia artificial de Amazon, diseñado para ayudar a la compañía en el proceso de reclutamiento de nuevo personal, fue desactivado porque discriminaba a las mujeres como candidatas para puestos relacionados con tecnología.
Diseñada en 2014, la herramienta experimental de contratación utilizaba inteligencia artificial para calificar aspirantes en una escala de una a cinco estrellas, pero en 2015, la compañía se dio cuenta que el sistema no analizaba a las personas de forma neutral por su género para trabajos técnicos como desarrollo de software.
De acuerdo con la agencia Reuters, esto se debió a que el modelo de Amazon fue entrenado para revisar los perfiles observando patrones en los currículos que habían sido enviados a la compañía durante una década. La mayoría de estos resúmenes correspondía a hombres, debido al sesgo de la industria tecnológica.
Por esa razón, el sistema ‘aprendió’ que los candidatos varones eran preferibles para esos puestos, penalizando a aquellos currículos que incluyeran las palabras “mujer” o “de mujeres”. La herramienta también bajaba la calificación de las aspirantes que provenían de dos universidades solo para mujeres.
Amazon editó el programa para evitar la penalización de términos, pero al no tener una garantía de que el programa no encontraría otras formas de evaluar discriminatoriamente a las candidatas, la compañía cerró el proyecto.
Esta es una llamada de atención para las compañías que buscan integrar sistemas de inteligencia artificial a su proceso de reclutamiento y, en general, a aquellas que pretenden delegar decisiones sensibles a sistemas algorítmicos o de aprendizaje automatizado (machine learning).