La inteligencia artificial ha tenido grandes avances en la última década, y uno de los campos que ha experimentado mayor crecimiento ha sido el de los modelos de lenguaje de aprendizaje profundo (LLM, por sus siglas en inglés).
Empresas como Google y OpenAI han estado a la vanguardia en el desarrollo de estos modelos, pero un reciente artículo, supuestamente filtrado de Google, sugiere que el futuro de los modelos de lenguaje de código abierto está eclipsando rápidamente a los modelos propietarios. El documento se encuentra en este enlace
El auge de los modelos de lenguaje de código abierto
La premisa del artículo filtrado es que, si bien Google y OpenAI siguen compitiendo por construir los modelos de lenguaje más potentes, sus esfuerzos están siendo eclipsados rápidamente por el trabajo que se está realizando en la comunidad de código abierto. Aunque los modelos propietarios todavía tienen cierta ventaja en términos de calidad, la brecha se está cerrando sorprendentemente rápido. Los modelos de código abierto son más rápidos, más personalizables, más privados y, libra por libra, más capaces que los modelos propietarios. Estos modelos están haciendo cosas con $100 y 13B de parámetros que las empresas como Google y OpenAI luchan por lograr con $10M y 540B de parámetros, y lo están haciendo en semanas, no meses.
La revolución de los modelos de lenguaje de código abierto
El artículo filtrado destaca el desarrollo de la técnica de LoRA, que permite ajustar los modelos en tan solo unas horas de hardware de consumo, produciendo mejoras que luego se pueden acumular. Esta técnica es apilable, lo que significa que se pueden aplicar mejoras como la afinación de las instrucciones y luego aprovecharlas a medida que los contribuyentes agregan diálogo, razonamiento o uso de herramientas. Esto permite que, a medida que se dispongan de nuevos y mejores conjuntos de datos y tareas, el modelo pueda mantenerse actualizado de manera económica, sin tener que pagar el costo de una ejecución completa.
El documento argumenta que mantener una ventaja competitiva en tecnología se vuelve aún más difícil ahora que la investigación de vanguardia en LLM es asequible. Las instituciones de investigación de todo el mundo están construyendo sobre el trabajo de otros, explorando el espacio de soluciones de manera más amplia y rápida que las empresas como Google y OpenAI. El documento sugiere que las empresas como Google y OpenAI deberían cambiar su postura y trabajar con la comunidad de código abierto para mantenerse a la vanguardia.
¿Qué soluciones de código abierto se mencionan?
En el artículo supuestamente filtrado de Google sobre los modelos de lenguaje de aprendizaje profundo, se mencionan varias soluciones de código abierto. A continuación se detallan algunas de las más importantes:
- LLaMA: Es un modelo de lenguaje de aprendizaje profundo de código abierto que se utiliza como base para muchos otros modelos de lenguaje de código abierto. LLaMA se centra en la capacidad de procesar y generar texto coherente y bien estructurado.
- Alpaca: Es un modelo de lenguaje de aprendizaje profundo que se enfoca en la generación de texto, la traducción y la conversión de texto a habla. Se basa en el modelo GPT-3 de OpenAI, pero es de código abierto.
- Vicuna: Es otro modelo de lenguaje de aprendizaje profundo que se enfoca en la generación de texto. Es una variante del modelo Alpaca que utiliza técnicas de aprendizaje por refuerzo para mejorar su capacidad de generación de texto.
Cada una de estas soluciones de código abierto es importante porque demuestra el poder y la flexibilidad de los modelos de lenguaje de aprendizaje profundo de código abierto. Estas soluciones permiten a los investigadores y desarrolladores trabajar juntos en la creación de modelos de lenguaje cada vez más sofisticados y precisos. El hecho de que estas soluciones sean de código abierto significa que están disponibles para cualquier persona que quiera usarlas o construir sobre ellas, lo que fomenta la colaboración y la innovación en la comunidad de investigación y desarrollo.
El futuro de los modelos de lenguaje de aprendizaje profundo
En resumen, el futuro de los modelos de lenguaje de aprendizaje profundo parece estar en los modelos de código abierto. La colaboración entre la comunidad de investigadores está impulsando avances rápidos en la capacidad y la flexibilidad de estos modelos. Empresas como Google y OpenAI, que han estado a la vanguardia del desarrollo de modelos de lenguaje de aprendizaje profundo, tendrán que adaptarse rápidamente para mantener su posición de liderazgo. El documento sugiere que la única forma de hacerlo es trabajando con la comunidad de código abierto y aprendiendo de ellos en lugar de tratar de mantener sus avances en secreto. A medida que el mundo se vuelve cada vez más interconectado, la colaboración y el trabajo en equipo son clave para el éxito en la investigación y el desarrollo tecnológico.
Los modelos de lenguaje de aprendizaje profundo tienen el potencial de cambiar la forma en que interactuamos con la tecnología y el mundo en general. Estos modelos pueden mejorar la precisión del reconocimiento de voz, la traducción automática, la generación de texto y la búsqueda en línea. El hecho de que los modelos de código abierto estén evolucionando tan rápido es emocionante porque significa que es probable que veamos avances en estas áreas mucho más rápido de lo que se esperaba.