Récemment, une publication de DeepMind sur l'application de Transformers extrêmement volumineux au jeu d'échecs a suscité de vives discussions au sein de la communauté de l'IA. Les chercheurs ont utilisé un nouvel ensemble de données appelé ChessBench pour entraîner des modèles Transformer comportant jusqu'à 270 millions de paramètres, explorant ainsi leurs capacités dans les problèmes de planification complexes tels que les jeux d'échecs.
L'ensemble de données ChessBench contient 10 millions de parties d'échecs humaines collectées sur la plateforme Lichess, annotées à l'aide du moteur d'échecs de pointe Stockfish16. Il fournit jusqu'à 15 milliards de points de données, incluant le taux de victoire pour chaque état de la partie, le meilleur coup à jouer et l'évaluation de la valeur de tous les coups légaux.
Les chercheurs ont utilisé une méthode d'apprentissage supervisé pour entraîner le modèle Transformer à prédire la valeur de chaque coup légal étant donné l'état de la partie. Les résultats expérimentaux montrent que même sans utiliser d'algorithme de recherche explicite, le modèle le plus volumineux est capable de faire des prédictions assez précises sur de nouveaux états de partie, démontrant ainsi une puissante capacité de généralisation.
Il est surprenant de constater que le modèle a atteint un classement Elo de 2895 lors de parties rapides contre des joueurs humains sur la plateforme Lichess, atteignant ainsi le niveau d'un maître international d'échecs.
Les chercheurs ont également comparé ce modèle à des moteurs d'échecs tels que Leela Chess Zero et AlphaZero, entraînés par apprentissage par renforcement et auto-jeu. Les résultats montrent que bien qu'une version approximative de l'algorithme de recherche de Stockfish puisse être distillée dans le modèle Transformer par apprentissage supervisé, la distillation parfaite reste un défi.
Cette recherche montre que les modèles Transformer extrêmement volumineux possèdent un potentiel énorme pour résoudre des problèmes de planification complexes et offre de nouvelles pistes pour le développement futur d'algorithmes d'IA. La publication de l'ensemble de données ChessBench fournira également aux chercheurs une nouvelle plateforme de référence pour explorer les capacités de planification de l'IA.
