Pile-T5 ist ein von EleutherAI entwickeltes Modell der natürlichen Sprachverarbeitung. Es basiert auf dem ursprünglichen T5-Modell, wurde aber mit dem Pile-Datensatz und dem LLAMA-Tokenizer trainiert, um das Verständnis von Code-Aufgaben zu verbessern. Das Modell wurde mit 2 Billionen Tokens trainiert – dem Doppelten des ursprünglichen T5-Modells. Pile-T5 zeigt in zahlreichen Downstream-Aufgaben eine hervorragende Leistung, insbesondere bei Code-bezogenen Aufgaben. Zusätzlich stellt EleutherAI Zwischen-Checkpoints bereit, um Forschern die Untersuchung der Modellentwicklung im Zeitverlauf zu ermöglichen.