WWWhat's new

Anthropic advierte sobre riesgos de catástrofe por IA si no se regula en 18 meses

Regulación de Inteligencia Artificial Científicos y Funcionarios Evalúan Riesgos Catastróficos en un Laboratorio Futurista

En el contexto de la rápida evolución de la inteligencia artificial (IA) y a solo días de las elecciones presidenciales en EE. UU., la empresa Anthropic ha lanzado un llamado urgente para que los gobiernos implementen una regulación proactiva en el sector. Según la empresa, que se caracteriza por su enfoque en la seguridad de la IA, el tiempo para prevenir riesgos catastróficos se está agotando, y la ventana para una regulación efectiva podría cerrarse en menos de dos años. Desde WWWhatsnew.com, creemos que estas advertencias deben tomarse en serio, y en este artículo exploramos las principales preocupaciones y recomendaciones de Anthropic para evitar una crisis.

¿Por qué hay un riesgo creciente?

Anthropic ha revelado avances alarmantes en las capacidades de los modelos de IA. Según la empresa, en solo un año, los modelos han logrado grandes mejoras en tareas de ingeniería de software y en ofensivas cibernéticas. Por ejemplo, en octubre de 2023, el modelo Claude 2 apenas resolvía el 1,96% de una serie de problemas de codificación en el SWE-bench. Sin embargo, en octubre de 2024, el modelo Claude 3.5 Sonnet ya puede resolver el 49% de estos problemas, lo cual representa un salto significativo. Para Anthropic, esto no solo demuestra el potencial de la IA en campos como el desarrollo de software, sino que también representa una amenaza, ya que estas capacidades podrían facilitar ciberataques.

Además, los modelos de IA han mejorado su comprensión científica en un 18% en solo tres meses, alcanzando niveles de precisión en tareas que anteriormente solo lograban expertos humanos. Modelos como OpenAI o1 han logrado una puntuación de 77.3% en la sección más difícil de una prueba de preguntas científicas (GPQA), mientras que los expertos humanos obtuvieron un 81.2%. Desde WWWhatsnew.com, creemos que estos avances, aunque impresionantes, muestran que estamos entrando en un territorio donde la IA podría ser indistinguible de la expertise humana en temas críticos de seguridad.

Riesgos de uso indebido: amenazas químicas y nucleares

La empresa también cita un estudio del Instituto de Seguridad de IA del Reino Unido, el cual evaluó el riesgo de que modelos de IA se usen en actividades relacionadas con amenazas químicas, biológicas, radiológicas y nucleares (CBRN). La investigación encontró que los modelos pueden proporcionar conocimiento a nivel experto en biología y química, y responder a preguntas científicas a un nivel similar al de personas con doctorado. Esto significa que los modelos de IA tienen el potencial de facilitar el acceso a información peligrosa que, en manos equivocadas, podría convertirse en una amenaza.

Anthropic había pronosticado que los riesgos de ciberseguridad y CBRN serían urgentes en dos o tres años, pero ahora advierte que estamos más cerca de estos peligros de lo que se pensaba. La empresa considera que estos datos subrayan la necesidad de actuar rápido para evitar que la IA se convierta en un peligro global.

Las recomendaciones de Anthropic para una regulación eficaz

Para abordar estos riesgos, Anthropic propone lo que llama una política de escalamiento responsable (RSP, por sus siglas en inglés) y sugiere que los gobiernos adopten un enfoque de regulación precisa y específica. En opinión de la empresa, la regulación debe ser lo suficientemente flexible para no entorpecer la innovación, pero lo suficientemente firme para prevenir abusos. A continuación, se detallan las recomendaciones clave de Anthropic:

¿Qué debería hacer la industria de IA?

Además de instar a los gobiernos, Anthropic también invita a otras empresas del sector a implementar políticas de escalamiento responsable. Según ellos, la seguridad informática y la protección deben ser prioridades en los equipos de desarrollo de IA, y deberían incluirse en las hojas de ruta de productos. En su opinión, las políticas de RSP son herramientas cruciales para orientar la estructura y los valores organizacionales, permitiendo que los desarrolladores exploren modelos de amenaza y refuercen la seguridad desde el diseño.

En WWWhatsnew.com, creemos que la colaboración entre empresas es esencial. Sin políticas de seguridad en toda la industria, cualquier avance en regulación podría quedarse corto si no se siguen prácticas uniformes y rigurosas.

¿Qué sigue para la regulación de IA?

Para Anthropic, el próximo año será crucial. La empresa insta a que las partes interesadas –legisladores, defensores de la seguridad, sociedad civil e industria– colaboren en el desarrollo de un marco regulatorio efectivo que cumpla con los principios propuestos. En EE. UU., la regulación idealmente debería ser a nivel federal, pero si no se avanza lo suficientemente rápido, la regulación estatal podría imponerse primero.

El llamado de Anthropic destaca una encrucijada en la que el mundo de la IA debe decidir entre un crecimiento sin control o una regulación inteligente y prudente. Desde WWWhatsnew.com, opinamos que regular la IA es un reto de enormes proporciones, pero también una necesidad ineludible para garantizar un desarrollo seguro y ético en el futuro.

Salir de la versión móvil