Un reciente estudio de Apple pone de manifiesto la idoneidad de gestionar las peticiones a los grandes modelos de Inteligencia Artificial generativa directamente en los propios dispositivos móviles en lugar de delegar el trabajo en los grandes centros de datos de las compañías tecnológicas.
Lo malo claramente es tener que hacer frente a los desafíos técnicos de ejecutar los grandes modelos en los propios dispositivos, los cuales carecen de las capacidades de computación y de consumo de energía de los grandes centros de datos.
La privacidad como principal beneficiado de ejecutar LLM a nivel de dispositivo
El estudio, llevado a cabo por investigadores de Apple, llegó a publicarse el 12 de diciembre, pero llamó mayormente la atención en la noche de ayer miércoles cuando fue dado a conocer por la publicación Hugging Face.
A su favor, el principal beneficio de ejecutar modelos grandes directamente en los propios dispositivos está en la privacidad, y este enfoque es compartido por muchas compañías, como Samsung, que esperan que trasladar la ejecución de grandes modelos de IA a nivel de dispositivos pueda ofrecer mejores experiencias.
A este respecto, el nuevo estudio de Apple llega en un escenario donde el volumen de ventas no ha sido del todo satisfactorio para las principales compañías, y donde llevar la e ejecución de modelos de IA podría ofrecer nuevas ventajas a los usuarios.
Según investigadores de Apple, acorde a su experiencia con el uso de modelos como el Falcon 7B, versión reducida de un LLM de código abierto desarrollado originalmente por el Instituto de Innovación Tecnológica de Abu Dhabi:
Nuestro experimento está diseñado para optimizar la eficiencia de la inferencia en dispositivos personales
La gran apuesta por las principales marcas de móviles
Dado los resultados no satisfactorios de la venta de unidades de móviles inteligentes, este será el enfoque que marcará a muchas de las compañías fabricantes de teléfonos móviles a lo largo del próximo año, por lo que veremos grandes esfuerzos para optimizar los LLMs para que pueda llegar a ejecutarse directamente a nivel de dispositivo.
Por lo tanto, ya tenemos una pista de lo que marcará 2024 en el segmento de los dispositivos móviles inteligente.
Según los investigadores de Apple:
Nuestro trabajo no sólo proporciona una solución a un cuello de botella computacional actual, sino que también sienta un precedente para futuras investigaciones
Y añaden:
Creemos que a medida que los LLM continúan creciendo en tamaño y complejidad, enfoques como este serán esenciales para aprovechar todo su potencial en una amplia gama de dispositivos y aplicaciones.
De este modo no nos ha de extrañar que a lo largo del tiempo encontremos avances en los modelos de lenguaje largo hasta el punto de poder llegar a ser ejecutados directamente en los propios dispositivos.
Lógicamente, estos avances deben ser llevados directamente a los propios dispositivos móviles, y más en un momento de caída de las ventas.
Más información: ArsTecchnica