No cabe duda de que ChatGPT ha marcado un antes y un después, pese al poco tiempo de existencia, a pesar de sus limitaciones al no poder contar con acceso a nuevos datos en tiempo real, habiendo sido entrenado con datos fechados hasta del año 2021, por lo que para este sistema no habrá constancia de todas las novedades e informaciones que hayan ocurrido en todo el año 2022.
Ahora nos enteramos vía TechCrunch de la llegada de una alternativa de código abierto, aunque esta alternativa no estará al alcance de cualquiera, y os vamos a explicar los motivos de ello.
La alternativa de código abierto se llama PaLM + RLHF, ya que combina el modelo de lenguaje de Google PaLM y la técnica de aprendizaje por refuerzo con retroalimentación humana RLHF, buscando con ello crear un sistema que permita alinear los modelos de inteligencia artificial a las respuestas que básicamente esperan recibir los usuarios a sus consultas.
El problema de esta alternativa, lanzada esta semana por el desarrollador y experto en ingeniería inversa Philip Wang, es que no ha recibido entrenamiento previo para poder funcionar.
En este sentido, se hace necesario necesario recopilar una cantidad ingente de información, como puedan ser noticias, artículos de Reddit, títulos de libros electrónicos, entre otras fuentes, para luego poder realizar el entrenamiento, un proceso costoso y bastante laborioso, por el que además se hace necesario contar con un ordenador dedicado con una configuración bastante avanzada.
En este sentido, se parte de tener un ordenador con ocho GPU A100 para empezar y después mantenerlo a lo largo del tiempo, algo que no está al alcance de cualquiera por su altísimo coste.
Y alternativamente a un PC dedicado avanzado se puede optar por el uso de la computación en la nube, aunque dado los requerimientos de computación para el entrenamiento, los precios tampoco lo hacen viable para cualquiera.
La citada publicación apunta a la existencia de un estudio en 2020 que fijó el coste para desarrollar un modelo generación de texto con solo 1.500 millones de parámetros a un coste superior a los 1.6 millones de dólares.
De esta manera, esta alternativa necesitará miles y miles de dólares previos para la recopilación y entrenamiento, que le permita aprender de las probabilidades de que ocurran las palabras en base a los patrones como el contexto semántico del texto circundante, y de este modo funcionar de manera similar a ChatGPT.
Por suerte hay quienes podrán ser capaces, y en cualquier caso, hay varias iniciativas para replicar ChatGPT, destacando el grupo de investigación llamado CarperAI, que pronto espera lanzar el primer modelo bastante similar a ChatGPT listo para poder funcionar.
Vía: TechCrunch