Anthropic, la empresa detrás de Claude, ha declarado que su tecnología ha cruzado un umbral de su política de seguridad relacionado con la posibilidad de que la IA acelere drásticamente su propio desarrollo, lo que la obliga a tomar precauciones adicionales. Conviene ser claro desde el principio: esto no significa que la IA se esté mejorando a sí misma ahora mismo, sino que la compañía estima que podría acercarse ese escenario. Lo cuenta Gizmodo, a partir de los documentos de salida a bolsa de la propia Anthropic.
Es un anuncio tan llamativo como fácil de malinterpretar. Lo importante no es lo que ha pasado, sino lo que Anthropic dice que espera que pase.
¿Qué ha declarado exactamente Anthropic?
Que ha cumplido un umbral de su Política de Escalado Responsable (RSP) referido a un progreso «drásticamente acelerado» atribuible a la IA, basándose en sus expectativas, no en un avance ya observado. Según Gizmodo, en un documento presentado ante el regulador bursátil el 2 de noviembre Anthropic decía que «podría cumplir de forma inminente» esos criterios; en una versión del 10 de noviembre, esa frase desapareció y la empresa afirmó haber «determinado que hemos cumplido este umbral».
El matiz es decisivo. Gizmodo subraya que esa determinación descansa en los modelos futuros que la empresa espera y en el ritmo general de progreso, no en un modelo actual que haya empezado a mejorarse solo. La propia política se activa cuando Anthropic «observa o espera» cierto grado de aceleración, y aquí pesa el «espera». Es decir: no hay un salto tecnológico repentino que anunciar, sino una revisión de sus previsiones. No es la primera vez que la empresa y su entorno ponen sobre la mesa estos escenarios, como cuando se repasaron varias formas en las que la IA podría poner en jaque a la humanidad en menos de diez años.
¿Qué implica cruzar ese umbral?
Obliga a Anthropic a reforzar la seguridad y la vigilancia sobre sus propios sistemas. Según Gizmodo, la política exige explorar «niveles de seguridad sin precedentes», alcanzar un estado de plena conciencia del comportamiento del modelo —que describe como tener «los ojos puestos en todo»— y someter sus sistemas a pruebas de ataque internas a fondo. En una carta, los fundadores plantean que construir IA de forma segura podría requerir que la empresa, e idealmente el sector, «module» el ritmo de crecimiento de las capacidades, sobre todo cuando los sistemas de IA se construyen a sí mismos.
El anuncio llega en un momento nada casual: Anthropic ha publicado sus documentos de salida a bolsa y sus acciones empezarían a cotizar esta misma semana. Gizmodo apunta que la empresa reveló esta determinación «discretamente». Ese contexto —una advertencia de seguridad justo antes de salir a bolsa— es precisamente lo que invita a leer la noticia con cabeza fría, en un sector que no deja de perseguir la meta de la superinteligencia, como cuando SSI, de Ilya Sutskever, salió del sigilo aliándose con Nvidia para escalar hacia una superinteligencia segura. El propio Amodei lleva tiempo en el centro del debate sobre los riesgos, como cuando participó junto a Jensen Huang en la Casa Blanca sobre los peligros de la IA.
Mi lectura es que aquí hay que separar con cuidado la señal del ruido, porque el tema se presta al titular apocalíptico. Lo que de verdad ha ocurrido es modesto en los hechos y relevante en el gesto: Anthropic no ha visto a Claude mejorándose solo, sino que ha ajustado sus previsiones y ha decidido activar, por precaución, el protocolo que ella misma se impuso. Eso, en una empresa, es coherencia: de poco sirve escribir una política de seguridad si luego no la aplicas cuando toca. Pero el momento elegido —a las puertas de la bolsa— obliga a preguntarse cuánto hay de cautela sincera y cuánto de narrativa: posicionarse como «la empresa de IA responsable, tan potente que hasta a ella le preocupa su propio progreso» es, también, un argumento de venta. No tengo motivos para dudar de la sinceridad del equipo de seguridad, pero sí para recordar que una advertencia no es una prueba, y que «esperamos que se acelere» no es lo mismo que «se ha acelerado». Lo sano es ni ignorar la señal ni comprarla entera: tomar nota de que una de las empresas líderes cree que nos acercamos a un territorio delicado, y exigirle que, si de verdad lo cree, module el ritmo de hechos y no solo de palabras.
