En el rápido desarrollo de la tecnología de inteligencia artificial, la implementación de la inferencia de modelos eficiente en diversos hardwares se ha convertido en un desafío importante para los desarrolladores. Recientemente, el desarrollador Andrei David encontró inspiración en una consola Xbox 360 de casi veinte años, logrando portar un modelo ligero de la serie Llama LLM de Meta AI, llama2.c, a esta antigua consola.
David compartió este logro en la plataforma de redes sociales X, afirmando que enfrentó desafíos enormes. La CPU PowerPC de la Xbox 360 utiliza una arquitectura big-endian, lo que implica una gran cantidad de conversiones endian en la configuración y carga de pesos del modelo. Además, David tuvo que ajustar y optimizar profundamente el código original para que funcionara correctamente en un hardware tan antiguo.
La gestión de la memoria también fue un gran problema que tuvo que resolver. El modelo llama2 tiene un tamaño de 60 MB, y la arquitectura de memoria de la Xbox 360 es de memoria unificada, lo que significa que la CPU y la GPU comparten la misma memoria. Esto obligó a David a ser muy cuidadoso al diseñar el uso de la memoria. Considera que, a pesar de las limitaciones de memoria de la Xbox 360, su arquitectura era muy avanzada para su época, prefigurando las técnicas modernas de gestión de memoria en consolas y APU.
Después de una iteración de codificación y optimización, David finalmente logró ejecutar el modelo llama2 en la Xbox 360 con una simple indicación: "Sleepy Joe dice". Cabe destacar que el modelo llama2 tiene solo 700 líneas de código C y no tiene dependencias externas, lo que le permite mostrar un rendimiento "sorprendentemente" potente con una personalización específica.
El éxito de David ofrece una nueva dirección a otros desarrolladores. Algunos usuarios sugirieron que los 512 MB de memoria de la Xbox 360 podrían soportar la implementación de otros LLM pequeños, como smolLM desarrollado por Hugging Face. David recibió esta sugerencia con agrado, y es probable que en el futuro veamos más experimentos con LLM en la Xbox 360.
