Meta a franchi une étape importante dans l'amélioration de l'efficacité de l'intelligence artificielle. Le géant de la technologie a publié mercredi un modèle pré-entraîné utilisant une nouvelle méthode de prédiction multi-jetons, susceptible de révolutionner le développement et le déploiement des grands modèles de langage (LLM).
Accès au projet : https://top.aibase.com/tool/multi-token-prediction
Cette nouvelle technologie, initialement présentée dans un article de recherche de Meta en avril dernier, diffère des méthodes traditionnelles d'entraînement des LLM qui ne prédisent que le mot suivant dans une séquence. La méthode de Meta exige que le modèle prédise simultanément plusieurs mots futurs, ce qui devrait améliorer les performances et réduire considérablement les temps d'entraînement.
La méthode de prédiction multi-jetons de Meta pourrait offrir un moyen de contrer cette tendance, rendant l'intelligence artificielle avancée plus accessible et durable.
Le potentiel de cette nouvelle méthode ne se limite pas à l'amélioration de l'efficacité. En prédisant simultanément plusieurs jetons, ces modèles pourraient développer une compréhension plus nuancée de la structure et du contexte du langage. Cela pourrait améliorer des tâches allant de la génération de code à l'écriture créative, comblant potentiellement le fossé entre l'intelligence artificielle et la compréhension du langage au niveau humain.
Meta publie ces modèles sous licence de recherche non commerciale sur Hugging Face, conformément à son engagement envers la science ouverte. C'est aussi une stratégie dans un domaine de l'intelligence artificielle de plus en plus concurrentiel : l'ouverture permet d'accélérer l'innovation et l'acquisition de talents.
La version initiale se concentre sur les tâches d'autocomplétion de code, un choix qui reflète la croissance du marché des outils de programmation assistés par l'IA. Avec le lien de plus en plus étroit entre le développement logiciel et l'intelligence artificielle, la contribution de Meta pourrait accélérer la tendance à la collaboration homme-machine dans le codage.