El video del ataque terrorista de Christchurch de la semana pasada se ha estado repitiendo en Facebook varias veces, desbordando a los moderadores humanos y engañando a la inteligencia artificial que, en teoría, debería bloquear automáticamente este tipo de contenido.
Ahora es Guy Rosen, vicepresidente de integridad de Facebook, quien comenta algunos detalles relacionados con los límites de la plataforma de IA.
Por lo visto el vídeo se vio menos de 200 veces durante la transmisión en vivo y unas 4.000 veces antes de que los moderadores lo eliminaran. Durante la transmisión en directo nadie lo denunció (solo lo denunciaron 12 minutos después de terminar), por lo que en Facebook tardaron en detectar que algo así existía.
El sistema de inteligencia de detección automática de Facebook podría identificar contenido que «viola los estándares de la comunidad», pero no solo detectó. Después del incidente, Facebook logró hacer un análisis de la secuencia original y establecer sus algoritmos para encontrar y eliminar videos visualmente similares tanto en Facebook como en Instagram, incluyendo tecnología de audio, y así consiguieron en las primeras 24 horas, eliminar 1.2 millones de copias del video del ataque, y otras 300.000 copias eliminadas posteriormente.
Así es, 1,5 millones de personas decidieron que era una buena idea bajar el vídeo original de la masacre y subirlo de nuevo a Facebook (o un puñado de personas con mucho interés que lo publicaron millones de veces usando bots).
El problema de la Inteligencia Artificial es que no puede entrenarse para detectar vídeos con violencia de este tipo, ya que no hay una suficiente cantidad de contenido para ello. Es cierto que podría entrenarse con vídeos de videojuegos, o con películas, pero si se hace así, Facebook bloquearía también la transmisión online de juegos, o ciertos trailers.
Distinguir entre la transmisión en directo de un videojuego violento y la transmisión en directo de una masacre real es algo que la Inteligencia Artificial aún no puede hacer, y solo podrá hacerlo cuando haya miles de vídeos con violencia real para que un sistema inteligencia aprenda a diferenciarlos (esperemos que eso no ocurra nunca).
Por otro lado, se subieron varios vídeos diferentes, con actores imitando la masacre. Facebook detectó 800 variantes «visualmente distintas» del video, de gente que quiso engañar al algoritmo realizando imitaciones del evento (en algunas ocasiones fueron capturas de la masacre reproducidas desde un móvil, entre otros, no siempre fueron actores imitando las escenas).
Facebook ahora está buscando formas de detectar diferentes versiones del mismo video al mejorar su tecnología de coincidencia de audio, por lo que el trabajo no ha terminado.