Pile-T5 é um modelo de processamento de linguagem natural lançado pela EleutherAI. Ele se baseia no modelo T5 original, mas foi treinado com o conjunto de dados Pile e o tokenizador LLAMA para melhorar sua compreensão de tarefas de código. O modelo foi treinado com 2 trilhões de tokens, o dobro do volume de dados do modelo T5 original. O Pile-T5 apresenta excelente desempenho em diversas tarefas downstream, especialmente em tarefas relacionadas a código. Além disso, a EleutherAI fornece checkpoints intermediários para que pesquisadores possam estudar a evolução do modelo ao longo do tempo.