Avec le développement fulgurant de l'IA générative, la croyance traditionnelle selon laquelle « plus grand est meilleur » est en train d'évoluer. Plusieurs scientifiques de premier plan dans le domaine de l'IA ont récemment déclaré que la méthode consistant à améliorer les performances de l'IA simplement en augmentant le volume de données et la puissance de calcul approchait de son seuil. De nouvelles pistes de progrès technologiques apparaissent.
Ilya Sutskever, co-fondateur de Safe Superintelligence et d'OpenAI, a récemment exprimé son opinion selon laquelle les méthodes traditionnelles de pré-entraînement ont atteint un plateau de performance. Cette affirmation est particulièrement remarquable, car c'est lui qui a initialement préconisé les méthodes de pré-entraînement à grande échelle qui ont donné naissance à ChatGPT. Aujourd'hui, il affirme que le domaine de l'IA est passé de « l'ère de l'expansion à grande échelle » à « l'ère des miracles et des découvertes ».
L'entraînement des grands modèles actuels est confronté à de multiples défis : des coûts de formation pouvant atteindre plusieurs dizaines de millions de dollars, les risques de pannes matérielles liés à la complexité du système, les longs cycles de test, ainsi que les limites des ressources de données et de l'approvisionnement énergétique. Ces problèmes incitent les chercheurs à explorer de nouvelles voies technologiques.
Parmi celles-ci, la technique de « calcul au moment du test » (test-time compute) suscite un intérêt considérable. Cette méthode permet aux modèles d'IA de générer et d'évaluer plusieurs solutions en temps réel lors de leur utilisation, au lieu de fournir une seule réponse. Noam Brown, chercheur chez OpenAI, a utilisé une métaphore : laisser l'IA réfléchir 20 secondes à une main de cartes a le même effet que d'augmenter la taille du modèle et le temps d'entraînement de 100 000 fois.
Actuellement, plusieurs laboratoires d'IA de pointe, notamment OpenAI, Anthropic, xAI et DeepMind, développent activement leurs propres versions de cette technologie. OpenAI a déjà appliqué cette technologie à son dernier modèle « o1 ». Kevin Weil, directeur des produits, a déclaré qu'avec ces méthodes innovantes, ils ont constaté de nombreuses possibilités d'améliorer les performances des modèles.
Les experts du secteur estiment que ce changement de stratégie technologique pourrait remodeler le paysage concurrentiel de l'ensemble du secteur de l'IA et modifier fondamentalement la structure des besoins des entreprises d'IA en matière de ressources. Cela marque l'entrée de l'IA dans une nouvelle phase axée sur l'amélioration de la qualité plutôt que sur la simple expansion à grande échelle.
