Andrej Karpathy, renombrado experto en el campo del deep learning, ha sorprendido a la comunidad científica decidiendo focalizar su talento en el desarrollo del modelo Llama 2 en lugar de seguir trabajando en la implementación de GPT-5.
El desafío de Llama 2
Con el fin de probar las capacidades del modelo de código abierto Llama 2, Karpathy inició un proyecto que consistía en ajustar nanoGPT, un modelo simplificado de GPT, para implementar la arquitectura de Llama 2 utilizando lenguaje C. Este reto supuso la creación de un motor de inferencia C, elemento clave de este experimento, que demostró ser capaz de ejecutar complejos modelos de aprendizaje profundo en dispositivos de baja potencia.
Ejecutando Llama 2 con éxito
Gracias a su enfoque, Karpathy ha conseguido una alta tasa de interacción incluso con modelos de tamaño moderado que contienen unos pocos millones de parámetros. Logró entrenar un modelo de 44 millones de parámetros, tres veces más grande, con un tamaño de lote de 32 en 4 GPUs A100 en unas 8 horas. Este logro sugiere que un modelo Llama de 7 mil millones de parámetros podría ser viable.
Enfoque Baby-Llama: El arte de la simplicidad
Este método, inspirado por un proyecto similar de Georgi Gerganov, implica entrenar la arquitectura Llama 2 LLM desde cero utilizando PyTorch. Tras el entrenamiento, los pesos del modelo se guardan en un archivo binario bruto. Posteriormente, se utiliza un archivo C para cargar el modelo y realizar inferencias. Este enfoque minimalista garantiza una huella de memoria baja y no requiere de librerías externas.
Mejorando el rendimiento
Karpathy ha explorado varias técnicas para mejorar el rendimiento del código C, incluyendo el uso de diferentes banderas de compilación. Experimentando con estas banderas, los usuarios pueden lograr inferencias aún más rápidas en sus sistemas específicos.
¿Qué podemos aprender de este proyecto?
Aunque este proyecto nació como un experimento de fin de semana, demuestra que es posible ejecutar modelos de aprendizaje profundo complejos en dispositivos de baja potencia utilizando lenguaje C puro, una práctica no muy común en el mundo del machine learning. Esto no solo abre las puertas a una nueva forma de procesar estos modelos, sino que también demuestra que la eficiencia no siempre está reñida con la complejidad.
Este avance puede sentar un precedente para lo que se puede lograr en dispositivos individuales y podría ser un paso adelante para el despliegue de aplicaciones de IA más locales y eficientes.
Más información en GitHub.