Meta, la empresa matriz de Facebook, ha lanzado públicamente su nuevo modelo de lenguaje de inteligencia artificial (AI) llamado Large Language Model Meta AI (LLaMA). Este nuevo lanzamiento de Meta es un avance significativo en la democratización del acceso a grandes modelos de lenguaje y marca un hito en el progreso de la IA.
Veamos por qué.
El modelo LLaMA
LLaMA es un modelo de lenguaje que llega a 65 mil millones de parámetros, de hecho se presenta en varios tamaños que van desde 7 mil millones a 65 mil millones de parámetros. El modelo funciona a través de la generación de texto recursiva, en la que se utiliza una secuencia de palabras como entrada para predecir la siguiente palabra. Según Meta, el modelo LLaMA se entrenó en textos de las 20 lenguas con el mayor número de hablantes, centrándose en las lenguas con alfabetos latino y cirílico.
El modelo LLaMA se basa en datos públicos y puede ser reentrenado y ajustado a diferentes casos de uso específicos, lo que lo hace más accesible y versátil que otros modelos de lenguaje más grandes. Aunque Meta admite que todavía existen riesgos de sesgo, comentarios tóxicos y alucinaciones en los grandes modelos de lenguaje como LLaMA, el modelo se presenta como una herramienta para que los investigadores puedan explorar el potencial de los grandes modelos de lenguaje y encontrar soluciones a estos problemas.
La importancia de los modelos de lenguaje AI
Los grandes modelos de lenguaje como LLaMA son uno de los desarrollos más emocionantes en la IA en los últimos años. Estos modelos pueden generar texto creativo, resolver teoremas matemáticos, predecir estructuras de proteínas, responder preguntas de comprensión de lectura y mucho más. Los modelos de lenguaje se han convertido en la columna vertebral de muchas aplicaciones de IA, lo que hace que el acceso a ellos sea cada vez más importante.
A pesar de todos los avances recientes en los modelos de lenguaje AI, el acceso total a ellos sigue siendo limitado debido a los recursos necesarios para entrenar y ejecutar modelos tan grandes. El acceso restringido ha limitado la capacidad de los investigadores para comprender cómo y por qué funcionan estos modelos, lo que ha obstaculizado el progreso en los esfuerzos por mejorar su robustez y mitigar problemas conocidos como el sesgo, la toxicidad y la generación de desinformación.
Cómo acceder a LLaMA
El lanzamiento de LLaMA se alinea con el compromiso de los últimos años de Meta con la ciencia abierta y la democratización del acceso a los avances tecnológicos. Al hacer que LLaMA esté disponible para la comunidad de investigadores, Meta está permitiendo que los científicos exploren nuevas aplicaciones de la IA y prueben soluciones para problemas conocidos en la IA. También está fomentando la colaboración y el desarrollo de nuevas directrices para la IA responsable, aunque de momento el acceso está limitado a investigadores académicos, a aquellos afiliados a organizaciones del gobierno, la sociedad civil y la academia, y a laboratorios de investigación de la industria de todo el mundo.
Puede solicitarse acceso en este enlace.
¿Cómo se compara con ChatGPT?
LLaMA de Meta y ChatGPT de OpenAI son dos modelos de lenguaje de inteligencia artificial (AI) que comparten algunas similitudes, pero también tienen algunas diferencias significativas.
En términos de tamaño, LLaMA tiene un rango de tamaños de 7B a 65B de parámetros (7 mil millones a 65 mil millones), mientras que ChatGPT 3 de OpenAI tiene 175B (175.000 millones) de parámetros. Aunque ChatGPT 3 es un modelo de lenguaje más grande y poderoso que LLaMA, esto también significa que es más costoso de operar.
LLaMA se basa en datos públicos, lo que lo hace más accesible y versátil que ChatGPT, cuyos datos subyacentes son privados. Además, Meta ha declarado que LLaMA estará disponible para la comunidad de investigadores, lo que significa que los científicos podrán explorar el modelo y desarrollar soluciones para problemas conocidos en la IA.
En términos de funcionamiento, ambos modelos de lenguaje AI funcionan a través de la generación de texto recursiva, en la que se utiliza una secuencia de palabras como entrada para predecir la siguiente palabra. Sin embargo, se espera que LLaMA sea más fácil de reentrenar y ajustar para casos de uso específicos debido a su menor tamaño.
En última instancia, tanto LLaMA como ChatGPT son modelos de lenguaje de IA avanzados que han demostrado un gran potencial en una amplia gama de aplicaciones. Sin embargo, LLaMA de Meta tiene la ventaja de ser más accesible y versátil debido a su menor tamaño y su base de datos públicos, lo que podría hacer que sea más fácil de usar para los investigadores y desarrolladores de IA.
¿Qué problemas enfrenta LLaMA?
Al igual que otros modelos de lenguaje de inteligencia artificial (AI) a gran escala, LLaMA de Meta enfrenta una serie de desafíos y problemas, incluyendo el sesgo, los comentarios tóxicos y las alucinaciones.
El sesgo en los modelos de lenguaje se produce cuando el modelo refleja los prejuicios y las desigualdades de la sociedad en la que se entrena. Por ejemplo, si el modelo se entrena en textos que reflejan la discriminación de género o raza, es probable que el modelo reproduzca esos prejuicios al generar texto. Para abordar este problema, los investigadores deben entrenar el modelo con datos más diversos y hacer un esfuerzo consciente para detectar y corregir los sesgos.
Los comentarios tóxicos son otra preocupación importante en los modelos de lenguaje, ya que pueden generar contenido ofensivo o perjudicial para las personas. Para abordar este problema, los investigadores pueden entrenar el modelo para reconocer y evitar comentarios tóxicos, así como desarrollar herramientas para detectar y eliminar el contenido ofensivo.
Finalmente, las alucinaciones son otro problema que puede surgir en los modelos de lenguaje, en el que el modelo puede generar información que no es verdadera o realista. Esto puede tener graves consecuencias si se utiliza el modelo para tomar decisiones importantes en el mundo real. Para abordar este problema, los investigadores deben trabajar para mejorar la capacidad del modelo para distinguir entre lo real y lo imaginario.