TikTok desactivó intencionadamente su filtro anticontenido dañino en 15 millones de usuarios para ver si los enganchaba menos

Publicado el

TikTok desactivó intencionadamente su filtro anticontenido dañino en 15 millones de usuarios para ver si los enganchaba menos

Los senadores Marsha Blackburn (republicana, Tennessee) y Richard Blumenthal (demócrata, Connecticut) enviaron esta semana una carta a TikTok catalogando como «depravado» el comportamiento de la plataforma tras conocerse que la empresa realizó un experimento que desactivó deliberadamente un filtro de seguridad para el 10% de sus usuarios estadounidenses —alrededor de 15 millones de personas— para evaluar si ese filtro reducía el engagement.

El filtro en cuestión estaba diseñado para evitar que el algoritmo saturara a los usuarios con contenido potencialmente dañino de forma repetitiva. TikTok lo desactivó en ese grupo de control para medir cuánto afectaba al tiempo de uso. Uno de los usuarios del grupo de control fue Chase Nasca, un adolescente de 16 años cuyo algoritmo, sin el filtro activo, le bombardeó con miles de vídeos sobre tristeza, suicidio y soledad hasta que murió por suicidio. Bloomberg informó del experimento esta semana.

¿Por qué este experimento es diferente a las prácticas habituales de A/B testing?

Todas las plataformas hacen pruebas A/B con sus usuarios. Es práctica estándar en diseño de producto. Lo que diferencia el experimento de TikTok es que el elemento desactivado era explícitamente una medida de seguridad pensada para proteger a los usuarios de un riesgo documentado. No era una prueba de si el azul o el verde convertía mejor en el botón de «me gusta»: era una prueba de si quitar una salvaguarda frente al contenido potencialmente dañino aumentaba el tiempo que los usuarios pasaban en la app.

La formulación del experimento implica que TikTok sabía que el filtro podría estar reduciendo el engagement, lo que equivale a saber que el contenido dañino retiene a los usuarios. El experimento buscaba cuantificar esa relación. Y los senadores, en su carta, exigen entre otras cosas que TikTok explique por qué permitió que menores formaran parte del grupo de control de un experimento que desactivaba protecciones diseñadas para ellos.

Los senadores han dado a TikTok hasta el 1 de septiembre para responder 13 preguntas, incluyendo los nombres de todos los empleados que conocían el experimento y una lista completa de todos los experimentos que TikTok ha realizado en EE.UU. en los que desactivó o retrasó alguna función de seguridad. TikTok no respondió a la petición de comentario de TechCrunch.

El contexto: TikTok y su larga historia con la seguridad de menores

TikTok lleva años en conflicto con reguladores de múltiples países por su gestión del contenido dirigido a menores. En 2023, TikTok afrontó una nueva normativa en Europa que requería que los usuarios pudieran recibir un feed no personalizado, separando explícitamente la lógica de recomendación de la de personalización. En 2022, la plataforma anunció que limitaría qué tipos de contenido para adultos podía aparecer en los feeds de usuarios menores. En 2021, la empresa enfrentó demandas por el uso masivo de datos de niños sin consentimiento parental.

El patrón es consistente: TikTok anuncia compromisos de seguridad cuando hay presión regulatoria, y luego los reguladores encuentran que los compromisos o no se implementan correctamente o coexisten con prácticas que los contradicen. El experimento que desactivó el filtro de seguridad no contradice ningún compromiso formal de la empresa porque los compromisos formales de la empresa nunca dicen explícitamente «no haremos experimentos A/B con medidas de seguridad». Esa ambigüedad es exactamente el tipo de espacio que los reguladores americanos, europeos y australianos están tratando de cerrar.

¿Qué sigue después de la carta?

Las cartas al Congreso tienen el poder de forzar transparencia —TikTok tiene que responder formalmente o explicar por qué no lo hace— pero no tienen poder ejecutivo directo. Si TikTok responde con retrasos o respuestas incompletas, los senadores pueden convocar audiencias. Si las audiencias revelan más problemas, pueden derivar en legislación o en referidos a la FTC o al Departamento de Justicia.

El caso Nasca ya está siendo litigado por la familia de forma separada. Si en ese litigio se establece que TikTok sabía que el algoritmo le estaba proporcionando contenido dañino de forma repetida y no intervino, la exposición legal de la empresa es considerable. La carta de Blackburn y Blumenthal convierte lo que podría haber sido un caso civil individual en un asunto de supervisión del Congreso, lo que cambia sustancialmente la dinámica política y legal alrededor de la empresa.

Por qué esto revela algo sobre el modelo de negocio de TikTok

La lectura más incómoda del experimento no es que TikTok quitara el filtro, sino la hipótesis implícita que lo motivó: que el filtro de contenido dañino estaba reduciendo el tiempo que los usuarios pasaban en la app. Si esa hipótesis es correcta —y el experimento aparentemente lo confirmó— entonces el algoritmo de TikTok optimiza activamente para la exposición a contenido que genera alta retención, y el contenido de alta retención incluye material sobre tristeza, soledad y suicidio. No porque TikTok lo quiera así explícitamente, sino porque es el resultado de optimizar una función objetivo de maximización del engagement sin restricciones suficientes sobre el tipo de contenido que puede usarse para conseguirlo.

Esa es la acusación estructural que los demandantes en los casos civiles contra TikTok, Meta y otras redes sociales llevan años construyendo: el problema no es que estas empresas quieran dañar a sus usuarios adolescentes, sino que el modelo de negocio basado en venta de atención crea incentivos para maximizar el tiempo en pantalla de cualquier forma que funcione, y que para adolescentes vulnerables eso puede incluir contenido que tiene consecuencias documentadas sobre la salud mental. El experimento del filtro no crea ese argumento de cero, pero lo hace mucho más difícil de refutar. El caso Chase Nasca es el ejemplo más concreto de ese argumento hasta la fecha: no un estudio epidemiológico sobre correlaciones estadísticas, sino un menor identificable que estuvo en un grupo de control en el que TikTok desactivó deliberadamente una protección. Que eso pasara, que fuera documentado internamente y que no derivara en ninguna acción interna documentada es el tipo de evidencia que los litigantes civiles llevan años buscando. La carta de los senadores garantiza que esa documentación interna tendrá que hacerse pública, al menos parcialmente.