El sistema de filtrado de imágenes de Facebook calificó una fotografía de cebollas como una imagen “abiertamente sexual” e impidió a una tienda que vende semillas y artículos de jardinería publicar un anuncio por violar sus políticas de anuncios.
Posteriormente, la empresa se disculpó por el error de su sistema automatizado y restituyó el anuncio, “a veces (la tecnología de filtrado) no distingue una cebolla Walla Walla de, bueno, ustedes saben”, explicó el vocero de Facebook en Canadá, Meg Sinclair, a la BBC.
Aunque la anécdota puede parecer divertida y curiosa, es un ejemplo más de lo absurdos que son todavía los sistemas de filtrado automatizados y moderación (algoritmos) para contenido que utilizan muchas de las principales redes sociales del mundo, como YouTube y la misma Facebook.
Desafortunadamente, estos algoritmos han sustituido a muchos procesos de revisión humana para detectar, por ejemplo, contenido protegido por derechos de autor o contenidos que hacen apología del extremismo, pero cuyos errores pueden tener graves efectos en derechos humanos, como el derecho a la información y libertad de expresión.
Un algoritmo no tiene la capacidad de detectar las sutiles diferencias del contexto en que se utilizan ciertos contenidos, un video de un atentado terrorista puede ser propaganda en algunos casos, pero en otros puede utilizarse para informar, como en noticias, o para combatir el reclutamiento de grupos terroristas en línea.
Estas diferencias pueden ser tales como una frase dentro de la Declaración de Independencia de EE.UU. que, fuera de contexto, fue considerada como discurso de odio. En esa ocasión, el vicepresidente de política pública de Facebook, escribió una publicación de blog para explicar que se trabajaba para que el algoritmo tome en cuenta contexto e intención en el discurso, pero admitió que estaban lejos de lograrlo.
Los errores de los algoritmos pueden deberse también a sesgos intrínsecos a su programación. Recientemente un estudio demostró que en Instagram, las personas de color tienen un 50 por ciento más de posibilidades de que su cuenta sea desactivada automáticamente, que aquellos cuya actividad sugiere que son personas blancas.
Imagen de CSIRO (CC BY 3.0)
