La empresa Anthropic presenta una constitución para Claude, su último modelo de IA conversacional, con el objetivo de abordar los desafíos éticos y sociales que plantean los sistemas de IA cada vez más poderosos.
La compañía de inteligencia artificial Anthropic, fundada por antiguos ingenieros de OpenAI, ha adoptado un enfoque novedoso para abordar los desafíos éticos y sociales que plantean los sistemas de IA cada vez más potentes: otorgándoles una constitución.
En un comunicado público, la empresa ha presentado oficialmente la constitución de Claude, su último modelo de IA conversacional capaz de generar texto, imágenes y código. Esta constitución establece un conjunto de valores y principios que Claude debe seguir al interactuar con los usuarios, como ser útil, inofensivo y honesto. Además, especifica cómo Claude debe abordar temas sensibles, respetar la privacidad del usuario y evitar comportamientos ilegales.
Fomentando la confianza y la transparencia en la IA
Ante las controversias surgidas en torno a los sesgos, la desinformación y la manipulación en el campo de la IA, Anthropic espera promover la confianza y la transparencia en este ámbito al hacer pública la constitución de Claude. La empresa también aspira a inspirar a otros desarrolladores y actores de la IA a adoptar prácticas y estándares similares.
La constitución de Anthropic se basa en fuentes como la Declaración Universal de Derechos Humanos de la ONU, la investigación en ética de la IA y las políticas de contenido de las plataformas. Ha sido el resultado de meses de colaboración entre los investigadores, expertos en políticas y líderes operativos de Anthropic, quienes han estado probando y mejorando el comportamiento y el rendimiento de Claude.
Desafíos éticos en el avance de la IA
La presentación de esta constitución pone de relieve la creciente preocupación de la comunidad de IA por los valores y la ética de los sistemas de IA. Justo la semana pasada, el exlíder de la división de investigación en IA de Google, Geoffrey Hinton, renunció a su puesto en la gigante tecnológica citando preocupaciones sobre las implicaciones éticas de la tecnología que ayudó a crear. Se ha demostrado que los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés), que generan texto a partir de grandes conjuntos de datos, reflejan e incluso amplifican los sesgos presentes en los datos de entrenamiento.
Una visión centrada en el beneficio y la seguridad
Anthropic es una de las pocas startups especializadas en el desarrollo de sistemas de IA general y modelos de lenguaje, que tienen como objetivo realizar una amplia gama de tareas en diferentes dominios. La empresa, que se lanzó en 2021 con una ronda de financiación de la serie A de 124 millones de dólares, tiene la misión de garantizar que la IA transformadora contribuya al bienestar de las personas y la sociedad.
Claude es el producto estrella de Anthropic, que planea utilizar en diversas aplicaciones como educación, entretenimiento y acciones sociales. Claude puede generar contenido como poemas, historias, código, ensayos, canciones y parodias de celebridades. Además, puede ayudar a los usuarios a reescribir, mejorar u optimizar su contenido. Anthropic afirma que Claude es uno de los sistemas de IA más confiables y controlables del mercado, gracias a su constitución y su capacidad para aprender a partir de los comentarios humanos.
Una constitución adaptable y en evolución
Un aspecto clave de la constitución de Anthropic es su adaptabilidad. La empresa reconoce que la versión actual no está finalizada y probablemente no sea la mejor, y está abierta a la investigación y los comentarios para mejorarla. Esta disposición al cambio demuestra el compromiso de la empresa de asegurar que los sistemas de IA estén actualizados y sean relevantes a medida que surjan nuevas preocupaciones éticas y normas sociales.
Si bien las constituciones de IA no son una solución para todas las cuestiones éticas, representan un enfoque proactivo para abordar las complejas preguntas éticas que surgen a medida que los sistemas de IA continúan avanzando. Al hacer los sistemas de valores de los modelos de IA más explícitos y modificables, la comunidad de IA puede trabajar en conjunto para construir modelos más beneficiosos que realmente satisfagan las necesidades de la sociedad.
«Estamos entusiasmados con la participación de más personas en el diseño de la constitución», dijo Kaplan. «Anthropic inventó el método de la IA constitucional, pero no creemos que sea responsabilidad de una empresa privada dictar qué valores deben guiar en última instancia a la IA. Hicimos nuestro mejor esfuerzo para encontrar principios que estuvieran en línea con nuestro objetivo de crear un sistema de IA útil, inofensivo y honesto, pero queremos que más voces opinen sobre qué valores deben incluirse en nuestros sistemas. Nuestra constitución es dinámica: continuaremos actualizándola y mejorándola. Queremos que esta publicación en el blog genere investigación y debate, y seguiremos explorando formas de recopilar más aportes sobre nuestras constituciones».