Le projet TinyLlama vise à pré-entraîner un modèle Llama de 1,1 milliard de paramètres sur 3 000 milliards de jetons. Grâce à quelques optimisations appropriées, nous avons pu le faire en seulement 90 jours avec 16 GPU A100-40G. L'entraînement a commencé le 1er septembre 2023. Nous avons utilisé la même architecture et le même tokeniseur que Llama 2. Cela signifie que TinyLlama peut être utilisé dans de nombreux projets open source basés sur Llama. De plus, avec seulement 1,1 milliard de paramètres, sa compacité répond aux besoins de nombreuses applications aux ressources de calcul et de mémoire limitées.