Anthropic, empresa creadora del chatbot Claude, ha unido esfuerzos con el Departamento de Energía de Estados Unidos (DOE) y la Administración Nacional de Seguridad Nuclear (NNSA) para desarrollar un sistema que impida que su modelo de lenguaje sea utilizado con fines relacionados con la construcción de armas nucleares. La intención de este acuerdo es clara: evitar que la inteligencia artificial contribuya, de forma directa o indirecta, a la proliferación de tecnología nuclear con fines militares.
El trabajo conjunto entre Anthropic y la NNSA ha dado como resultado un clasificador nuclear, un filtro avanzado capaz de detectar conversaciones que se acercan peligrosamente a temas sensibles vinculados con armamento nuclear. Este clasificador fue desarrollado sobre una lista de indicadores de riesgo proporcionada por la NNSA, que incluye palabras clave, términos técnicos y contextos que podrían implicar un intento de obtener información peligrosa. Continúa leyendo «Anthropic y su filtro nuclear: la IA se enfrenta a sus propios límites de seguridad»