Google ha presentado una innovación que podría cambiar radicalmente el funcionamiento de los modelos de lenguaje de gran tamaño (LLMs). La nueva técnica, denominada Infini-attention, promete eliminar las barreras existentes en la capacidad de procesamiento de texto de estos modelos, ofreciendo un sistema capaz de manejar volúmenes de información ilimitados sin requerir un incremento en los recursos computacionales.
Los modelos como GPT-4 y Claude 3 de Anthropic se han construido sobre la base de «ventanas de contexto», que limitan la cantidad de texto que pueden «ver» en una sola instancia. Estas restricciones se traducen en una capacidad máxima de 128,000 y 200,000 tokens, respectivamente. Un «token» representa un carácter alfanumérico, incluyendo espacios y signos de puntuación.
La técnica de Infini-attention de Google utiliza lo que se ha denominado memoria compresiva. Esta estrategia consiste en transferir información excesiva fuera de la memoria activa cuando se alcanza el límite, almacenándola de manera que pueda reintegrarse efectivamente para continuar el proceso de análisis sin perder coherencia ni contexto.
Aunque Google aún no ha publicado datos concretos, sus investigadores indican que Infini-attention ha superado a los modelos tradicionales en tareas complejas como el modelado de lenguaje en contextos extensos y la síntesis de resúmenes de libros. Esto sugiere un avance significativo en la capacidad de los LLMs para gestionar y procesar grandes volúmenes de datos.
Este no es el primer intento de la industria tecnológica por superar las limitaciones de los modelos de IA en cuanto a la gestión de grandes volúmenes de datos. Empresas como OpenAI y Facebook AI han desarrollado técnicas para optimizar la eficiencia de la memoria en sus modelos, como el uso de algoritmos de tokenización más eficientes y sistemas de memoria que priorizan información relevante.
Aunque todavía en fase experimental, Infini-attention representa un potencial cambio de paradigma en la tecnología de IA. Su capacidad para gestionar información de manera prácticamente ilimitada abre nuevas posibilidades para aplicaciones que requieren el análisis de grandes conjuntos de datos, desde la interpretación de documentos legales hasta el desarrollo de asistentes virtuales más versátiles y efectivos.