À l'heure où l'intelligence artificielle connaît un développement fulgurant, la mise en œuvre d'une inférence de modèle efficace sur divers matériels représente un défi majeur pour les développeurs. Récemment, le développeur Andrei David s'est inspiré d'une Xbox 360, console de jeu vieille d'une vingtaine d'années, pour réussir à y porter llama2.c, un modèle léger de la série Llama LLM de Meta AI.
David a partagé sa réussite sur le réseau social X, soulignant l'ampleur du défi. Le processeur PowerPC de la Xbox 360 utilise une architecture big-endian, nécessitant de nombreuses conversions endian lors de la configuration et du chargement des poids du modèle. De plus, David a dû profondément adapter et optimiser le code source pour qu'il fonctionne sur ce matériel ancien.
La gestion de la mémoire était également un problème crucial. Le modèle llama2 atteint 60 Mo, et l'architecture mémoire de la Xbox 360 est une mémoire unifiée, ce qui signifie que le CPU et le GPU partagent la même mémoire. David a donc dû faire preuve d'une grande prudence dans la conception de l'utilisation de la mémoire. Il estime que malgré les limitations de mémoire de la Xbox 360, son architecture était très avant-gardiste à l'époque, préfigurant les techniques de gestion de mémoire standard des consoles de jeux modernes et des APU.
Après de nombreuses itérations de codage et d'optimisation, David a finalement réussi à exécuter le modèle llama2 sur la Xbox 360, avec une simple invite : « Sleepy Joe dit ». Il est à noter que le modèle llama2 ne compte que 700 lignes de code C et n'a aucune dépendance externe, ce qui lui permet d'afficher des performances « surprenantes » dans le cadre d'une personnalisation pour un domaine spécifique.
La réussite de David ouvre de nouvelles perspectives aux autres développeurs. Certains utilisateurs ont suggéré que les 512 Mo de mémoire de la Xbox 360 pourraient également supporter d'autres petits LLM, comme smolLM développé par Hugging Face. David a accueilli favorablement cette idée, et il est probable que nous verrons bientôt d'autres résultats d'expérimentations de LLM sur Xbox 360.
