Im Zeitalter des rasanten Fortschritts der künstlichen Intelligenz stellt die effiziente Modellinferenz auf verschiedenen Hardware-Plattformen eine große Herausforderung für Entwickler dar. Kürzlich fand der Entwickler Andrei David Inspiration in einer fast zwanzig Jahre alten Xbox 360-Spielkonsole und portierte erfolgreich ein leichtgewichtiges Modell aus Metas Llama LLM-Serie – llama2.c – auf diese veraltete Hardware.
David teilte seine Leistung auf der Social-Media-Plattform X und beschrieb die enormen Herausforderungen. Die PowerPC-CPU der Xbox 360 verwendet eine Big-Endian-Architektur, was bei der Konfiguration des Modells und dem Laden der Gewichte zu umfangreichen Endian-Konvertierungen führte. Darüber hinaus musste David den ursprünglichen Code tiefgreifend anpassen und optimieren, um einen reibungslosen Betrieb auf dieser veralteten Hardware zu gewährleisten.
Die Speicherverwaltung stellte ein weiteres großes Problem dar. Das llama2-Modell hat eine Größe von 60 MB, und die Xbox 360 verfügt über eine Unified Memory Architecture, d. h. CPU und GPU teilen sich denselben Speicher. Dies erforderte von David eine sehr sorgfältige Speicherverwaltung. Er ist der Meinung, dass die Architektur der Xbox 360 trotz der Speicherbeschränkungen für damalige Verhältnisse sehr zukunftsweisend war und die modernen Speicherverwaltungstechniken in Spielekonsolen und APUs vorwegnahm.
Nach wiederholtem Codieren und Optimieren gelang es David schließlich, das llama2-Modell auf der Xbox 360 auszuführen. Ein einfacher Prompt: „Sleepy Joe sagt…“ genügte. Es ist erwähnenswert, dass das llama2-Modell nur 700 Zeilen C-Code umfasst und keine externen Abhängigkeiten hat, was es in bestimmten Bereichen erstaunlich leistungsfähig macht.
Davids Erfolg bietet anderen Entwicklern eine neue Richtung. Ein Nutzer schlug vor, dass die 512 MB RAM der Xbox 360 möglicherweise auch die Implementierung anderer kleiner LLMs ermöglichen könnten, z. B. smolLM von Hugging Face. David begrüßte dies und es ist wahrscheinlich, dass wir in Zukunft weitere Experimente mit LLMs auf der Xbox 360 sehen werden.