Dentro de los recientes esfuerzos que Meta viene realizando en los últimos meses relacionados con los modelos de IA generativa, ahora se encuentran presentando el lanzamiento de Code Llama, su potente modelo de lenguaje grande, de código abierto, específicamente diseñado para las tareas de codificación.
A este respecto, es capaz tanto de generar código como también de establecer indicaciones sobre un mismo código, según se le vaya solicitando, hasta el punto que desde Meta consideran que su nuevo modelo cuenta con el potencial de mejorar la eficiencia de los desarrolladores en su flujo de trabajo, y ayudar en el aprendizaje de código a las personas que se encuentra introduciendo en el mundo de la codificación.
Mejor preparado que Llama 2 para ofrecer código de calidad
Code Llama se encuentra basado en Llama 2 aunque ha tenido un entrenamiento diferente mediante el uso de conjuntos de datos específicos de código y obteniendo un periodo de entrenamiento más prolongado para así ofrecer funciones de codificación mejoradas con respecto a Llama 2, cuya calidad de código generado no se encuentra a la altura de herramientas específicas de generación de código.
Gracias al entrenamiento específico, Code Llama soporta lenguajes de programación comunes como son Python, C++, Java, PHP, Typecript (JavaScript), C#, Bash, entre otros.
Diferentes opciones para diferentes necesidades
Meta señala que lanzará tres tamaños diferentes de Code Llama: 7B, 13B y 34B, cada uno de ellos entrenados con 500 mil millones de tokens de código y datos relacionados con el código, con el que tratar diferentes necesidades de servicio.
A este respecto, señalan que los modelos más pequeños 7B y 13B ofrecen un rendimiento más rápido y baja latencia, ideales para, por ejemplo, completar código en tiempo real, mientras que el modelo 34B es capaz de ofrecer los mejores resultados y proporciona asistencia de codificación mejorada. Del modelo 7B destacan además que puede funcionar con una sola GPU.
Habrá además dos variaciones adicionales de Code Llama: Code Llama – Python y Code Llama – Instruct, donde la primera es una variación especializada en lenguajes, perfeccionada aún más en 100 mil millones de tokens de código Python, mientras la segunda variación de instrucciones afinada y alineada de Code Llama, que según Meta:
El ajuste de la instrucción continúa el proceso de formación, pero con un objetivo diferente. El modelo recibe una entrada de “instrucción en lenguaje natural” y el resultado esperado. Esto hace que comprenda mejor lo que los humanos esperan de sus indicaciones. Recomendamos usar Code Llama – Instruct variantes siempre que use Code Llama para la generación de código, ya que Code Llama – Instruct se ha perfeccionado para generar respuestas útiles y seguras en lenguaje natural.
Meta impone restricciones mínimas a desarrolladores
Al utilizar los modelos Code Llama, Meta hace un llamamiento para que los usuarios cumplan son su licencia y con política de uso aceptable, que si bien impone restricciones mínimas, se incluye la prohibición de usarlo para la generación de código malicioso.
Más información: Blog de IA de Meta