Microsoft Research ha presentado DRIFT Search (Dynamic Reasoning and Inference with Flexible Traversal), una nueva tecnología que amplía y optimiza las capacidades de búsqueda en grandes volúmenes de datos, combinando búsquedas locales y globales en un solo proceso. Este avance se basa en GraphRAG, una herramienta que emplea modelos de lenguaje grande (LLMs) para crear gráficos de conocimiento a partir de textos no estructurados. DRIFT no solo mejora la eficiencia y calidad de las respuestas en búsquedas complejas, sino que también ofrece un sistema más flexible, ideal para abordar consultas que requieren un equilibrio entre profundidad y amplitud.
¿Qué es GraphRAG y cómo funciona?
GraphRAG, la base sobre la cual se desarrolla DRIFT Search, organiza grandes volúmenes de documentos no estructurados en una gráfica de conocimiento. Su funcionamiento se divide en dos partes principales:
- Motor de indexación: Descompone los documentos en fragmentos pequeños, identifica entidades y relaciones y, luego, los organiza en un gráfico, generando informes de comunidades.
- Motor de consultas: Aprovecha los LLMs para realizar búsquedas globales y locales en el gráfico. La búsqueda global maneja consultas que cubren el dataset completo, mientras que la búsqueda local se enfoca en responder preguntas que requieren datos específicos o detallados.
Por ejemplo, una búsqueda global puede responder a preguntas como «¿Cuáles son las tendencias en investigación de IA de los últimos cinco años?», mientras que la local resuelve consultas más específicas como «¿Cuáles fueron las actualizaciones en Cosmos DB de Microsoft el 4 de octubre?».
Introducción a DRIFT Search
DRIFT Search añade una capa de búsqueda local avanzada al motor de consultas de GraphRAG, integrando la información comunitaria desde el inicio de la búsqueda. Esto permite que el sistema extraiga más detalles en las respuestas finales, usando preguntas de seguimiento que ajustan el enfoque de la consulta para capturar información específica y detallada.
Cómo DRIFT Search procesa las consultas
El proceso de DRIFT Search se realiza en tres fases:
- Fase de Inicio: Compara la consulta del usuario con los informes de las comunidades más relevantes, generando una respuesta inicial y varias preguntas de seguimiento.
- Seguimiento Local: Utilizando los datos obtenidos en la primera fase, DRIFT realiza búsquedas adicionales que van afinando la respuesta con más especificidad, asegurando que se logre una alta relevancia en la información entregada.
- Jerarquía de Resultados: Finalmente, se organiza una jerarquía de preguntas y respuestas, clasificadas por su relevancia, lo cual facilita al usuario obtener una visión detallada y organizada del tema.
Ventajas de DRIFT Search frente a otros métodos
En pruebas comparativas, DRIFT Search superó significativamente a las búsquedas locales tradicionales en dos aspectos clave:
- Completitud: En el 78% de los casos, DRIFT ofreció respuestas más completas, cubriendo todos los aspectos de la pregunta.
- Diversidad de respuestas: El 81% de las veces, DRIFT proporcionó perspectivas variadas y detalladas, una ventaja frente a los métodos que tienden a limitarse a respuestas más genéricas.
Casos de uso: ¿Para qué sirve DRIFT Search?
DRIFT Search es ideal para consultas complejas donde se requiere una visión panorámica combinada con detalles específicos. Por ejemplo, al analizar miles de artículos de noticias, DRIFT puede extraer y estructurar información sobre un tema complejo, como las acciones de la FDA y los CDC en respuesta a una contaminación en alimentos. Gracias a su enfoque híbrido, DRIFT puede proporcionar tanto un resumen global como datos específicos sobre los productos, marcas afectadas y acciones tomadas.
Futuro de DRIFT Search y GraphRAG
La hoja de ruta para DRIFT incluye mejoras en la búsqueda global y la integración de lógica de terminación basada en modelos de recompensa. Además, se están explorando variantes de búsqueda que permitan reducir costos de procesamiento, abriendo la puerta a una interfaz de consulta unificada capaz de gestionar tanto búsquedas locales como globales con alta eficiencia.
Desde wwwhatsnew.com creemos que DRIFT Search es un avance significativo en el campo de la búsqueda y análisis de datos, uniendo lo mejor de la exploración global y local. Para empresas que manejan grandes volúmenes de información, esta herramienta representa una oportunidad única para optimizar sus consultas y profundizar en temas con rapidez y precisión.