Un reportaje publicado por NBC News señala que Facebook desestimó los hallazgos de una investigación interna que evidenciaba cómo sus algoritmos de moderación de contenido de Instagram afectaban desproporcionadamente a personas de color. Los investigadores reportaron los resultados a sus superiores, pero se les ordenó no compartir sus descubrimientos ni profundizar en su investigación.
De acuerdo con la investigación citada por NBC, aquellos usuarios de Instagram cuya actividad sugiere que son personas de color, tienen un 50 por ciento más de posibilidades de que su cuenta sea desactivada automáticamente, que aquellos cuya actividad sugiere que son personas blancas.
Facebook basa su combate al discurso de odio en sistemas automatizados que tratan por igual los comentarios ofensivos contra personas blancas que contra mujeres o personas de color, una decisión que ha sido criticada por los propios empleados de la empresa. Esto ha ocasionado que el sistema de moderación tienda a detectar más contenidos ofensivos contra personas blancas, aún si es considerado como menos grave que contra personas de color.
En julio de 2019, una gráfica interna mostró que es la proporción de discurso ofensivo contra personas blancas que es retirado automáticamente es más alta que el que es reportado por los propios usuarios de la plataforma. En contraste, los sistemas de moderación removieron menos discurso ofensivo contra población de color, judía o transgénero de forma automática, lo que indica que las herramientas no lo están detectando.
Facebook se ha negado sistemáticamente a tratar de forma diferente el discurso ofensivo de acuerdo a su receptor. Además, existen reportes de que la plataforma ha suspendido o ignorado diversos estudios internos que abordan los problemas de sesgo racial de sus algoritmos.
La moderación automatizada de contenidos representa un problema grave para la libertad de expresión en línea, ya que delegar esta responsabilidad en algoritmos opacos tiene consecuencias como el silenciamiento de expresiones legítimas; además de que pueden presentar sesgos raciales o de género que, como en este caso, afecten a poblaciones en situación de vulnerabilidad.
Imagen: CC BY-SA 2.0. Backbone Campaign
