En los últimos años, el crecimiento de la inteligencia artificial, impulsado en gran parte por gigantes tecnológicos como OpenAI, ha sido asombroso. Sin embargo, a medida que estas compañías buscan modelos de lenguaje cada vez más grandes, han comenzado a enfrentarse a una serie de desafíos y limitaciones. Este panorama ha impulsado un cambio de estrategia en el enfoque de desarrollo de IA, alejándose de la simple acumulación de datos y poder computacional hacia métodos más innovadores y eficientes.
Limitaciones del modelo de “más grande es mejor”
En sus inicios, el crecimiento de la IA generativa parecía estar directamente relacionado con la cantidad de datos y potencia de procesamiento disponibles. La filosofía de “más grande es mejor” se basaba en que, al añadir más datos y potencia de cálculo, los modelos serían más precisos y versátiles. Sin embargo, expertos como Ilya Sutskever, cofundador de OpenAI y ahora líder de su propio laboratorio, Safe Superintelligence (SSI), han expresado recientemente que los resultados de la escalabilidad de la fase de preentrenamiento han comenzado a estancarse. La idea de que simplemente más datos y chips resolverán todos los problemas de la IA ya no parece viable.
El “test-time compute” y el modelo o1 de OpenAI
OpenAI y otros investigadores están adoptando un nuevo enfoque: el “test-time compute”, un proceso que permite a los modelos de IA realizar cálculos adicionales en la fase de inferencia. En lugar de decidir una respuesta inmediatamente, el modelo puede analizar múltiples opciones y elegir la mejor, emulando un razonamiento más humano. El modelo o1, lanzado recientemente por OpenAI, utiliza este enfoque y ha demostrado ser capaz de resolver problemas de manera más eficiente que los modelos anteriores.
Según Noam Brown, investigador de OpenAI, hacer que el modelo “piense” solo 20 segundos en una mano de póker, por ejemplo, puede mejorar su rendimiento de manera similar a la de multiplicar exponencialmente la cantidad de datos y tiempo de entrenamiento. En este sentido, los modelos de IA pueden ahora resolver problemas complejos, como operaciones matemáticas o de codificación, dedicando más recursos únicamente en momentos específicos.
Una IA con razonamiento humano y curada por expertos
La innovación detrás del modelo o1 no solo está en su capacidad para realizar múltiples cálculos durante la inferencia, sino también en el tipo de datos y retroalimentación que recibe. En lugar de usar solo grandes cantidades de datos no etiquetados, el modelo o1 también integra la experiencia y el conocimiento de PhDs y expertos de la industria. Esta técnica de “razonamiento multi-etapas” acerca cada vez más a los modelos de IA a un pensamiento similar al humano.
Desde wwwhatsnew.com creemos que este cambio representa una evolución significativa en la IA, alejándose del enfoque de recopilación masiva de datos para dar paso a una IA que emula mejor la forma en que los humanos resuelven problemas complejos. Esta transformación también se debe, en gran medida, a la saturación de datos y los problemas de energía necesarios para entrenar modelos cada vez más grandes.
El impacto en el mercado de chips y la competencia por la infraestructura
La transición hacia modelos que requieren más computación en la fase de inferencia podría tener un gran impacto en el mercado de hardware de IA, hasta ahora dominado por Nvidia. Las demandas por chips específicos para el entrenamiento, en los que Nvidia tiene un rol crucial, podrían disminuir, mientras que la demanda de chips para inferencia, donde Nvidia enfrenta mayor competencia, podría crecer significativamente. Esto presenta una oportunidad para otros jugadores en el mercado de chips de IA, quienes podrían competir en este nicho de infraestructura distribuida en la nube.
Jensen Huang, CEO de Nvidia, destacó en una conferencia reciente que la empresa ha identificado una nueva “ley de escalabilidad” en la inferencia, lo que sugiere que Nvidia seguirá apostando por soluciones adaptadas a esta nueva fase de desarrollo de IA. Desde wwwhatsnew.com, creemos que esta transición también obligará a las empresas a repensar sus estrategias de inversión y desarrollo tecnológico.
La carrera por la IA del futuro
La búsqueda de alternativas al enfoque de «más grande es mejor» no es exclusiva de OpenAI. Empresas como Anthropic, xAI (fundada por Elon Musk) y Google DeepMind están desarrollando sus propios métodos de inferencia avanzada. El objetivo es el mismo: optimizar los recursos y superar los límites que actualmente enfrenta la IA. Kevin Weil, director de producto de OpenAI, comentó que mientras otras empresas intentan ponerse al día, OpenAI ya está trabajando para mantenerse tres pasos adelante, lo que subraya la naturaleza competitiva de esta carrera tecnológica.
La inteligencia artificial se encuentra en un punto de inflexión, en el cual el enfoque de escalabilidad basado únicamente en más datos y poder computacional parece haber alcanzado sus límites. Las nuevas técnicas, como el “test-time compute” y el razonamiento multi-etapas del modelo o1 de OpenAI, están marcando el camino hacia una IA más avanzada y adaptable. Esto no solo redefine el mercado de infraestructura de IA, sino que también acerca la tecnología a una verdadera inteligencia artificial con razonamiento humano.