La startup finlandesa Silo AI ha dado un paso significativo en el ámbito de la inteligencia artificial (IA) con el lanzamiento de Poro, un innovador modelo de lenguaje grande (LLM) de código abierto. Este proyecto no solo destaca por su enfoque en la mejora de la IA multilingüe, especialmente en idiomas europeos, sino también por su contribución a la democratización de la tecnología de IA.
Poro se distingue por ser el primero de una serie de modelos que buscan abarcar los 24 idiomas oficiales de la Unión Europea. Este esfuerzo es liderado por SiloGen, la división de AI generativa de Silo AI, en colaboración con el grupo de investigación TurkuNLP de la Universidad de Turku.
El modelo Poro, cuyo nombre se traduce como «reno» en finlandés, se basa en una arquitectura transformadora BLOOM con incrustaciones ALiBi. Ha sido entrenado con un extenso dataset multilingüe que incluye más de 21 trillones de tokens, abarcando idiomas como el inglés, finlandés y varios lenguajes de programación.
Un aspecto notable del desarrollo de Poro es su entrenamiento en LUMI, el superordenador más rápido de Europa, situado en Kajaani, Finlandia. Este proceso enfatiza la ambición del proyecto de mejorar significativamente el rendimiento en idiomas europeos con recursos limitados.
Incluso con solo un 30% de su entrenamiento completado, Poro ya ha superado a modelos monolingües existentes en evaluaciones específicas de idiomas, como el finlandés. Esto demuestra su potencial en mejorar el rendimiento en idiomas con menos datos de entrenamiento disponibles.
La iniciativa Poro Research Checkpoints ilustra el compromiso de Silo AI con la transparencia, proporcionando actualizaciones regulares sobre el progreso del modelo.
La colaboración con la Universidad de Turku es fundamental en el desarrollo de Poro, combinando la experiencia práctica de Silo AI con la investigación académica avanzada en modelado de lenguaje multilingüe.
Poro simboliza un cambio hacia la colaboración abierta y la transparencia en el campo del procesamiento del lenguaje natural. Forma parte de una tendencia creciente de preferencia por modelos de IA de código abierto, ofreciendo una alternativa a los modelos cerrados de grandes empresas tecnológicas.
Podéis leer más sobre este proyecto en silo.ai