Uno de los desafíos más grandes en el ámbito de la generación y comprensión de código es manejar bases de código extensas que requieren un entendimiento profundo de relaciones complejas y dependencias. Hasta hace poco, los modelos de IA tradicionales tenían dificultades para gestionar esta tarea. Sin embargo, con la introducción de modelos de contexto largo como Gemini 1.5 Flash y Pro, la precisión y la utilidad en la generación de código han alcanzado un nuevo nivel.
En colaboración con Sourcegraph, creadores del asistente de codificación Cody AI, se exploró el potencial de estos modelos de contexto extendido. Cody, que ya empleaba LLMs avanzados, se sometió a pruebas comparativas para evaluar cómo un contexto de 1M de tokens impactaba su desempeño en tareas de generación de código en entornos empresariales de alta complejidad.
Resultados de la integración con Sourcegraph
Sourcegraph llevó a cabo una comparación directa entre la versión de producción de Cody y la versión que incorporaba el contexto extendido de Gemini 1.5 Flash. Se centraron en responder preguntas técnicas complejas que requerían una comprensión profunda del código.
Los resultados fueron sorprendentes:
- Essential Recall: La proporción de hechos cruciales en las respuestas aumentó significativamente, mostrando una mejoría en la capacidad de recuperar y presentar información relevante.
- Essential Concision: La relación de hechos esenciales por longitud de la respuesta mejoró, lo que demostró respuestas más concisas y útiles.
- Helpfulness: La puntuación de utilidad general también aumentó, proporcionando una experiencia más enriquecedora y útil para los desarrolladores.
Una ventaja adicional fue la drástica reducción en la tasa de alucinaciones (errores de generación de información incorrecta), que pasó de un 18.97% a un 10.48%, mejorando la precisión y confiabilidad de las respuestas.
Desafíos y optimización
A pesar de los beneficios, la integración de modelos de contexto largo presenta desafíos, principalmente en el tiempo de respuesta. El tiempo hasta el primer token aumenta linealmente con la longitud del contexto. Para abordar esto, Sourcegraph implementó un mecanismo de prefetching y una arquitectura de modelo en capas para caché de estados de ejecución. Esta optimización redujo el tiempo de espera de 30-40 segundos a aproximadamente 5 segundos en contextos de 1MB, permitiendo un soporte casi en tiempo real.
Futuro de la codificación asistida por IA
Este avance evidencia cómo los modelos de contexto extendido como Gemini 1.5 pueden revolucionar el desarrollo de software, especialmente en entornos donde la rapidez y la precisión son vitales. La colaboración con empresas como Sourcegraph demuestra que, con la tecnología adecuada, los desafíos de manejar grandes bases de código pueden transformarse en oportunidades para mejorar la productividad y la calidad del trabajo.
Desde WWWhatsnew.com creemos que estos desarrollos abren nuevas puertas para aplicaciones más innovadoras en el campo de la IA y la programación. ¿Qué será lo próximo? Solo el tiempo dirá, pero el potencial ya es evidente.