Nvidia se prepara para la era de la inferencia: la nueva batalla por ejecutar IA rápido y barato

Nvidia construyó buena parte del auge moderno de la IA con sus GPU, chips muy versátiles que sirven tanto para entrenar como para ejecutar modelos. Esa versatilidad fue una ventaja cuando el sector necesitaba una herramienta “para todo”. El problema es que la inferencia premia la especialización: baja latencia, alto rendimiento por vatio, buen precio por token y capacidad para mantener conversaciones largas sin que el sistema se ahogue.

Con el mercado girando hacia servicios en tiempo real, han crecido los rivales que ofrecen rutas alternativas. Algunos gigantes tecnológicos empujan sus propios aceleradores, como las TPU de Google, mientras que compañías especializadas presumen de chips hechos para “hablar” con modelos de lenguaje de forma más eficiente. Este contexto explica por qué Nvidia, aun estando en una posición de fuerza, está tratando el momento actual como una defensa activa de su liderazgo, no como una simple vuelta de victoria. Continúa leyendo «Nvidia se prepara para la era de la inferencia: la nueva batalla por ejecutar IA rápido y barato»

Nvidia se apoya en Groq para acelerar la inferencia de IA sin comprar la compañía

Nvidia ha dado un paso llamativo en la carrera por la IA generativa: ha firmado una licencia no exclusiva de propiedad intelectual con Groq, un diseñador de chips centrado en inferencia, y al mismo tiempo ha incorporado a parte del liderazgo técnico de esa empresa. El matiz es clave: según la propia Nvidia, no hay adquisición. La operación se articula como un permiso para usar tecnología de Groq y como un fichaje de talento, sin absorber el negocio completo.

La fórmula suena a “me quedo con lo que necesito y evito el resto”. Y, en el contexto actual de la industria, tiene sentido. Comprar una empresa implica heredar líneas de negocio, contratos, riesgos regulatorios y obligaciones operativas. Con una licencia y contrataciones selectivas, Nvidia puede probar, integrar y escalar tecnología con menos fricción y con un perímetro más controlado. Groq, por su parte, comunicó el acuerdo el 24 de diciembre y confirmó que su fundador, Jonathan Ross, su presidente, Sunny Madra, y otros miembros del equipo se unirían a Nvidia para avanzar y ampliar lo licenciado. Continúa leyendo «Nvidia se apoya en Groq para acelerar la inferencia de IA sin comprar la compañía»

Groq revoluciona con su nuevo motor de LLM

La empresa Groq ha presentado un motor de modelos de lenguaje grande (LLM) que permite realizar consultas y otras tareas de manera extremadamente rápida directamente en su sitio web. Esta tecnología ha sido un avance significativo, demostrando velocidades que las GPU de empresas como Nvidia no pueden igualar. Groq ha incrementado la velocidad de respuesta de 800 a 1256.54 tokens por segundo en solo unos meses.

Continúa leyendo «Groq revoluciona con su nuevo motor de LLM»