Das TinyLlama-Projekt zielt darauf ab, ein 1,1 Milliarden Parameter großes Llama-Modell mit 3 Billionen Tokens zu vortrainieren. Durch gezielte Optimierungen konnten wir dies mit 16 A100-40G GPUs in nur 90 Tagen erreichen. Das Training begann am 01.09.2023. Wir verwenden dieselbe Architektur und denselben Tokenizer wie Llama 2. Dies bedeutet, dass TinyLlama in vielen Open-Source-Projekten eingesetzt werden kann, die auf Llama basieren. Darüber hinaus verfügt TinyLlama nur über 1,1 Milliarden Parameter, seine Kompaktheit macht ihn ideal für Anwendungen mit begrenzten Rechen- und Speicherressourcen.