Intel ha anunciado su nuevo acelerador de IA, el Gaudi 3, durante su evento Vision 2024. Este procesador es el siguiente paso en la línea de aceleradores de IA de Gaudi, y promete ofrecer un rendimiento y una eficiencia energética mejorados en comparación con su predecesor, el Gaudi 2. Con este lanzamiento, Intel busca competir directamente con los aceleradores de IA de NVIDIA, especialmente en el ámbito del procesamiento de modelos de lenguaje a gran escala.
Rendimiento y especificaciones
El Gaudi 3 ofrece un impresionante rendimiento de 1835 TFLOPS en precisión FP8, lo que, según Intel, le permitirá superar a los aceleradores basados en la arquitectura Hopper de NVIDIA en algunos modelos de lenguaje a gran escala críticos. Aunque no se han revelado todos los detalles, Intel ha compartido algunas especificaciones clave:
- El Gaudi 3 es un diseño de doble chip, con dos chips idénticos conectados en un solo paquete.
- Cada chip cuenta con 4 Matrix Math Engines y 32 Tensor Cores, lo que representa un aumento con respecto a los 2 Matrix Math Engines y 24 Tensor Cores del Gaudi 2.
- La memoria ha recibido una actualización, con un controlador HBM2e que proporciona una memoria total de 128 GB y un ancho de banda de memoria de 3,7 TB/s.
- El TDP del acelerador ha aumentado a 900 vatios, y se están desarrollando versiones de refrigeración líquida que ofrecerán un rendimiento aún mayor.
- La interconexión entre los chips utiliza un enlace de alta velocidad que permite un espacio de direcciones de memoria unificado.
- La precisión BF16 ha visto una mejora de 4 veces en el rendimiento, aunque Intel no ha revelado la cifra exacta.
Posicionamiento en el mercado y estrategia
El lanzamiento del Gaudi 3 también coincide con un cambio en la estrategia de Intel para sus productos de aceleración de IA. Anteriormente, la línea de productos Habana Labs Gaudi se había mantenido en un segundo plano en favor de los GPU Data Center Max de Intel (Ponte Vecchio). Sin embargo, tras la cancelación de Rialto Bridge y la próxima llegada de Falcon Shores en 2025, Habana Labs y el Gaudi 3 han adquirido una nueva importancia dentro de la cartera de Intel.
Intel reconoce que el Gaudi 3 no es un proyecto secundario, sino un procesador fundamental que llevará al mercado de los aceleradores de IA. Aunque el alcance de sus capacidades es más específico en comparación con otros productos insignia, Intel confía en que puede ofrecer un rendimiento líder en el mercado.
Conectividad y escalabilidad
Una de las características clave del diseño del Gaudi ha sido siempre su enfoque en la conectividad Ethernet. El Gaudi 3 continúa esta tradición, escalando Ethernet hasta el nivel de chip. Ofrece 24 enlaces de 200 Gb/s, lo que resulta en un ancho de banda de E/S externo total de 8,4 TB/s.
Intel recomienda una topología de 21/3, donde 21 enlaces se utilizan para la conectividad chip-a-chip dentro de un nodo, y 3 enlaces se utilizan para conectarse a otros nodos. Esta configuración permite una escalabilidad fluida, con la capacidad de conectar hasta 512 nodos utilizando 48 conmutadores espina dorsal.
Rendimiento y eficiencia energética
Intel ha compartido algunas comparaciones de rendimiento con los aceleradores de NVIDIA, especialmente con el H100. Afirman que el Gaudi 3 puede superar al H100 en hasta un 70% en el entrenamiento de Llama2-13B en una configuración de clúster de 16 aceleradores con precisión FP8. En cuanto a la inferencia, el Gaudi 3 se proyecta para ofrecer entre un 30% y un 50% más de rendimiento que el H200/H100, con una eficiencia energética hasta 2,3 veces mayor.
Formas de factor y disponibilidad
Intel lanzará el Gaudi 3 en dos formas de factor diferentes. La primera es el factor de forma OEAM, que estará disponible en versiones de refrigeración por aire y líquido. La versión de refrigeración por aire ya está en los laboratorios de Intel para su calificación y muestreo de clientes. La versión de refrigeración líquida estará disponible para muestreo este trimestre.
La segunda forma de factor es una tarjeta PCIe tradicional, llamada HL-338. Esta tarjeta de perfil completo y doble ranura ofrece el mismo rendimiento que el módulo OEAM, con un TDP reducido de 600 vatios. La tarjeta HL-338 cuenta con dos puertos Ethernet de 400 Gb para configuraciones de escalado y se puede combinar con una «tarjeta superior» similar a los puentes NVLink de NVIDIA para conectar hasta cuatro tarjetas.
La tarjeta PCIe se lanzará en el cuarto trimestre de este año, junto con la versión de refrigeración líquida del módulo OEAM.
Conclusión
El acelerador de IA Gaudi 3 de Intel es un importante paso adelante en el mercado de la aceleración de IA, ofreciendo mejoras significativas en rendimiento y eficiencia energética. Con su enfoque en la conectividad Ethernet y la escalabilidad, Intel busca atraer a clientes que buscan una solución potente y flexible para sus necesidades de IA. El Gaudi 3 es un competidor serio en el mercado de aceleradores de IA y demuestra el compromiso de Intel por ofrecer soluciones innovadoras en este ámbito.