Meta ha dado un paso importante en la mejora de la eficiencia de la inteligencia artificial. Este gigante tecnológico lanzó esta semana un modelo de entrenamiento previo que utiliza un novedoso método de predicción de múltiples tokens (multi-token-prediction), que podría revolucionar el desarrollo y la implementación de los grandes modelos lingüísticos (LLMs).
Enlace al proyecto: https://top.aibase.com/tool/multi-token-prediction
Esta nueva tecnología, presentada por primera vez en un artículo de investigación de Meta en abril de este año, difiere de los métodos tradicionales de entrenamiento de LLMs que solo predicen la siguiente palabra en una secuencia. El método de Meta requiere que el modelo prediga simultáneamente varias palabras futuras, lo que promete mejorar el rendimiento y reducir drásticamente el tiempo de entrenamiento.
El método de predicción de múltiples tokens de Meta podría ofrecer una forma de contrarrestar esta tendencia, haciendo que la IA avanzada sea más accesible y sostenible.
El potencial de este nuevo método no se limita a la mejora de la eficiencia. Al predecir simultáneamente múltiples tokens, estos modelos podrían desarrollar una comprensión más matizada de la estructura y el contexto del lenguaje. Esto podría mejorar tareas que van desde la generación de código hasta la escritura creativa, con el potencial de cerrar la brecha entre la IA y la comprensión del lenguaje a nivel humano.
Meta ha lanzado estos modelos bajo una licencia de investigación no comercial en Hugging Face, en línea con el compromiso de la compañía con la ciencia abierta. Pero también es una jugada estratégica en un campo de la IA cada vez más competitivo; la apertura puede acelerar la innovación y la adquisición de talento.
La versión inicial se centra en tareas de completado de código, una elección que refleja el crecimiento del mercado de herramientas de programación asistidas por IA. A medida que la conexión entre el desarrollo de software y la IA se estrecha, la contribución de Meta podría acelerar la tendencia de la codificación colaborativa entre humanos y máquinas.