Los investigadores de Facebook están trabajando en un nuevo proyecto que tiene como objetivo entrenar a la IA para que “olvide” información irrelevante.
De esta forma, las redes neuronales podrían completar tareas de forma más eficiente utilizando menos recursos.
Facebook quiere mejorar la IA con este método
Tal como mencionan en el documento que han compartido, están desarrollando un nuevo método para mejorar sus sistemas de inteligencia artificial. La idea es entrenar a la IA para que solo conserve información relevante y olvide el resto de los datos.
Proponemos Expire-Span, un método que aprende a retener la información más importante y caduca la información irrelevante […] una operación que se puede agregar a cualquier mecanismo de atención para que los modelos aprendan qué olvidar. Al expirar información irrelevante, los modelos pueden escalar la atención a decenas de miles de recuerdos pasados.
Es decir, si se desarrolla ese proceso, la IA podría clasificar y almacenar de forma eficiente todos los datos, priorizando los recursos y la información para la tarea que debe realizar. Así que este método de Facebook permitiría que la IA pueda desempeñar diferentes tareas de forma rápida y eficiente.
EXPIRE-SPAN puede caducar contenido irrelevante, lo que mejora el rendimiento al centrarse en información destacada y reduce la carga en la memoria de la GPU y permite un procesamiento más rápido por lote.
Si bien funcionaría como si la información tuviera fecha de caducidad, Facebook lo describe como un “fenómeno de olvido selectivo”, ya que se borraría de forma definitiva si el modelo detecta que ya no es útil para realizar la tarea. Así que esta fecha de caducidad iría cambiando teniendo en cuenta constantemente el contexto, ya sea por la tareas que deba realizar o por la nueva información que se está procesando. El equipo de Facebook explica en detalles este nuevo método Expire-Span en un extenso documento que se puede consultar en este enlace.