No mundo de rápido desenvolvimento da inteligência artificial, implementar a inferência de modelos de forma eficiente em diversos hardwares tornou-se um desafio importante para os desenvolvedores. Recentemente, o desenvolvedor Andrei David encontrou inspiração em um console Xbox 360 com quase duas décadas de existência e conseguiu portar um modelo leve da série Llama LLM da Meta AI — o llama2.c — para este console antigo.
David compartilhou sua conquista na plataforma de mídia social X, afirmando ter enfrentado desafios imensos. A CPU PowerPC do Xbox 360 utiliza uma arquitetura big-endian, o que significa que foram necessárias muitas conversões de endianness durante a configuração e o carregamento dos pesos do modelo. Além disso, David precisou ajustar e otimizar profundamente o código original para que funcionasse corretamente em um hardware tão antigo.
A gestão de memória também foi um grande desafio. O modelo llama2 tem 60 MB, e a arquitetura de memória do Xbox 360 é uma memória unificada, o que significa que a CPU e a GPU compartilham o mesmo espaço de memória. Isso exigiu que David fosse muito cuidadoso no design do uso da memória. Ele acredita que, apesar das limitações de memória do Xbox 360, sua arquitetura era muito avançada para a época, prenunciando as técnicas modernas de gestão de memória em consoles e APUs.
Após várias iterações de codificação e otimização, David finalmente conseguiu executar o modelo llama2 no Xbox 360, com um simples prompt: "O sono de Jo". Vale mencionar que o modelo llama2 tem apenas 700 linhas de código C e não possui dependências externas, o que permite um desempenho surpreendentemente poderoso em domínios específicos, com personalizações.
O sucesso de David oferece uma nova direção para outros desenvolvedores. Alguns usuários sugeriram que os 512 MB de memória do Xbox 360 poderiam suportar a implementação de outros LLMs menores, como o smolLM desenvolvido pela Hugging Face. David recebeu essa sugestão com entusiasmo, e provavelmente veremos mais experimentos com LLMs no Xbox 360 no futuro.
