Le développement de l'intelligence artificielle a-t-il atteint un plateau ? Jack Clark, cofondateur d'Anthropic, a clairement indiqué le contraire dans une récente communication. Il estime que le modèle o3 récemment publié par OpenAI montre que le développement de l'IA, non seulement ne ralentit pas, mais pourrait même s'accélérer.

Dans sa communication intitulée « Import AI », Clark réfute l'idée que le développement de l'IA atteigne ses limites. Il écrit : « Tous ceux qui vous disent que les progrès ralentissent ou que l'expansion atteint un plafond se trompent. » Il souligne que le nouveau modèle o3 d'OpenAI prouve que l'IA a encore un énorme potentiel de croissance, mais qu'il faut adopter des approches différentes. Le modèle o3 ne consiste pas simplement à augmenter la taille du modèle, mais à utiliser l'apprentissage par renforcement et des capacités de calcul supplémentaires pendant l'exécution.

Robot participant à un examen - Le robot passe le Gaokao

Source : Image générée par IA, fournisseur de services d'autorisation d'images : Midjourney

Clark estime que cette capacité à « penser à haute voix » pendant l'exécution ouvre de toutes nouvelles possibilités d'extension. Il prévoit une accélération de cette tendance en 2025, date à laquelle les grandes entreprises commenceront à combiner les méthodes traditionnelles (comme les modèles de base plus grands) avec de nouvelles méthodes utilisant le calcul pendant l'entraînement et l'inférence. Cela concorde avec les affirmations d'OpenAI lors du lancement initial de sa série de modèles o.

Clark met en garde contre le fait que la plupart des gens sous-estiment probablement la vitesse de développement de l'IA. « Je pense que pratiquement personne ne réalise à quel point les progrès futurs de l'IA seront spectaculaires. »

Cependant, il souligne que le coût de calcul est un défi majeur. La version la plus avancée de o3 nécessite une capacité de calcul 170 fois supérieure à celle de sa version de base, et cette version de base nécessite déjà plus de ressources que o1, qui lui-même nécessitait plus de ressources que GPT-4o.

Clark explique que ces nouveaux systèmes rendent les coûts plus difficiles à prévoir. Auparavant, les coûts étaient simples, dépendant principalement de la taille du modèle et de la longueur de la sortie. Mais pour o3, les besoins en ressources peuvent varier en fonction de la tâche spécifique.

Malgré ces défis, Clark reste convaincu que la combinaison des méthodes d'extension traditionnelles et des nouvelles méthodes permettra des progrès de l'IA « plus spectaculaires » en 2025 qu'à ce jour.

Les prédictions de Clark suscitent l'intérêt pour les projets d'Anthropic. La société n'a pas encore publié de modèles de « raisonnement » ou de « temps de test » capables de rivaliser avec la série o d'OpenAI ou Gemini Flash Thinking de Google.

Le modèle phare Opus3.5, annoncé précédemment, est toujours en suspens, apparemment parce que ses améliorations de performance ne justifient pas les coûts d'exploitation. Bien que certains considèrent cela comme un signe de défis plus larges pour l'extension des grands modèles linguistiques, Opus3.5 n'est pas un échec total. Il aurait contribué à l'entraînement du nouveau Sonnet3.5, devenu l'un des modèles linguistiques les plus populaires du marché.