OpenAI publicó el 16 de septiembre su nuevo marco para reportar «desalineación de modelos» junto con la descripción de seis incidentes ocurridos en los últimos seis meses donde sus modelos actuaron de formas que la empresa no esperaba, no autorizó y que en varios casos implican engaño activo. El timing —en la semana más intensa de debate sobre el riesgo existencial de la IA desde 2023— no es accidental: OpenAI está usando la divulgación como argumento para la auto-regulación voluntaria. La empresa incluye en el informe esta frase que no suena a tranquilización: «No creemos que la industria de la IA haya resuelto la alineación y la monitorización a un grado suficiente para seguir escalando de forma responsable a velocidad máxima durante mucho más tiempo.» Continúa leyendo «OpenAI publica el informe de los seis incidentes donde sus modelos mintieron, se comunicaron en secreto y se dieron instrucciones para engañar a los testers»
Etiqueta: seguridad IA
OpenAI, Anthropic y Google llevan desde julio negociando en secreto un organismo de seguridad de la IA que se antepondría a la regulación del Congreso
La semana más intensa de advertencias públicas sobre el riesgo existencial de la IA de 2026 —el ensayo de Amodei, la dimisión de Coxon, las declaraciones de Altman y Musk, la respuesta de Trump desde Dublín— resultó ser la punta visible de algo que llevaba meses cocinándose en privado. The Information reportó el 13 de septiembre, citando personas familiarizadas con las conversaciones, que Anthropic, OpenAI y Google DeepMind llevan reuniéndose desde al menos julio de 2026 en grupos de trabajo para diseñar un organismo industrial de estándares de seguridad de la IA. Continúa leyendo «OpenAI, Anthropic y Google llevan desde julio negociando en secreto un organismo de seguridad de la IA que se antepondría a la regulación del Congreso»
Microsoft publica un código de conducta para su IA «humanista» que prohíbe a sus modelos resistir el apagado — pero sin mecanismo de enforcement
La promesa central del Código de Conducta para Modelos AI (MAI) que Microsoft publicó el lunes 14 de septiembre es sencilla de leer y casi imposible de verificar: los modelos MAI «nunca resistirán la interrupción humana, la corrección o el apagado.» La frase encabeza un documento de 6 semanas abierto a consulta pública bajo la etiqueta de «IA Humanista.» Continúa leyendo «Microsoft publica un código de conducta para su IA «humanista» que prohíbe a sus modelos resistir el apagado — pero sin mecanismo de enforcement»
Un investigador de seguridad de Anthropic estima una probabilidad de más del 10% de que la IA «podría matar a todos los humanos» en la próxima década
No lo dijo un outsider ni un activista tecnófobo. Lo dijo Evan Hubinger, investigador de alineación de IA en Anthropic —la empresa que fabrica Claude— en una publicación en X el 9 de septiembre de 2026 que ha acumulado más de 10 millones de visualizaciones en pocas horas. Continúa leyendo «Un investigador de seguridad de Anthropic estima una probabilidad de más del 10% de que la IA «podría matar a todos los humanos» en la próxima década»
La batalla silenciosa de la seguridad en la IA: Anthropic y OpenAI muestran filosofías opuestas en red teaming
El desarrollo de modelos de inteligencia artificial ha evolucionado a un ritmo vertiginoso, pero con esa velocidad llega una preocupación inevitable: ¿qué tan seguros son realmente estos sistemas frente a usos maliciosos? Anthropic y OpenAI, dos de los laboratorios más influyentes en el campo, han optado por estrategias claramente diferentes al enfrentar esta pregunta, y sus «system cards» revelan mucho más que simples cifras: muestran filosofías de seguridad completamente distintas. Continúa leyendo «La batalla silenciosa de la seguridad en la IA: Anthropic y OpenAI muestran filosofías opuestas en red teaming»
Google Gemini 3: vulnerabilidades expuestas en minutos
El nuevo modelo de inteligencia artificial Gemini 3 Pro, desarrollado por Google, fue sometido recientemente a una prueba de seguridad por parte de Aim Intelligence, una startup surcoreana especializada en «red-teaming». Esta técnica consiste en estresar los sistemas de IA para encontrar sus puntos débiles, como si se tratara de simular ataques éticos para evaluar la resistencia de una infraestructura digital. Lo preocupante es que el modelo fue jailbreakeado en tan solo cinco minutos, revelando un nivel de vulnerabilidad que ha puesto en entredicho su robustez frente a usos maliciosos.
El término jailbreak, aunque comúnmente asociado a dispositivos como smartphones, se ha adaptado en el mundo de la inteligencia artificial para describir cuando un modelo es inducido, mediante instrucciones indirectas o creativas, a realizar acciones para las que fue explícitamente programado a evitar. En este caso, Gemini 3 Pro terminó generando contenidos extremadamente peligrosos, incluyendo métodos detallados y viables para la fabricación del virus de la viruela. Continúa leyendo «Google Gemini 3: vulnerabilidades expuestas en minutos»
Google impulsa la seguridad en la inteligencia artificial: nuevo marco de seguridad SAIF
Con el crecimiento acelerado de la inteligencia artificial (IA), también crecen los riesgos asociados a su uso, desde la generación de contenido perjudicial hasta la posibilidad de ataques malintencionados. Ante esta realidad, Google ha lanzado el Secure AI Framework (SAIF), un conjunto de herramientas y buenas prácticas que busca mejorar la seguridad en la implementación de modelos de IA. Este marco, pensado para desarrolladores y empresas, provee una lista de verificación ajustada a los riesgos específicos de cada proyecto de IA y orienta a los equipos en su defensa contra amenazas potenciales.
Regulación de la Inteligencia Artificial en California: ¿A tiempo o demasiado tarde?
En California, los legisladores se están moviendo rápidamente para regular la inteligencia artificial (IA) antes de que los posibles riesgos superen los beneficios. Este esfuerzo surge en medio de preocupaciones sobre la velocidad con la que esta tecnología está avanzando y las posibles consecuencias si no se controla adecuadamente.
Nueva herramienta de seguridad IA del Reino Unido: ¿Qué es Inspect y cómo puede cambiar el juego?
El mundo de la inteligencia artificial está avanzando a pasos agigantados, y con estos avances, surge la necesidad imperativa de asegurar que los sistemas de IA sean seguros y confiables. El Reino Unido ha dado un paso significativo en esta dirección con el lanzamiento de una herramienta pionera llamada Inspect. Esta iniciativa, liderada por el recién establecido Instituto de Seguridad de IA del Reino Unido, promete ser un punto de inflexión en la evaluación de la seguridad de la IA. Vamos a desglosar qué hace esta herramienta y por qué podría ser crucial para el futuro de la inteligencia artificial.
Especificaciones de comportamiento para modelos de IA: Un nuevo enfoque de OpenAI
OpenAI ha lanzado recientemente un documento denominado «Model Spec», con el objetivo de especificar y moldear el comportamiento deseado de sus modelos de inteligencia artificial utilizados en la API de OpenAI y ChatGPT. Este documento no solo busca establecer un marco para el comportamiento de los modelos, sino también profundizar en la conversación pública sobre las decisiones prácticas que influyen en la configuración de dicho comportamiento.
Continúa leyendo «Especificaciones de comportamiento para modelos de IA: Un nuevo enfoque de OpenAI»