Pile-T5 es un modelo de procesamiento del lenguaje natural desarrollado por EleutherAI. Se basa en el modelo T5 original, pero ha sido entrenado con el conjunto de datos Pile y el tokenizador LLAMA para mejorar su comprensión de tareas relacionadas con código. Este modelo ha sido entrenado con 2 billones de tokens, el doble que el modelo T5 original. Pile-T5 destaca en varias tareas de downstream, especialmente en aquellas relacionadas con código. Además, EleutherAI proporciona checkpoints intermedios para que los investigadores puedan estudiar la evolución del modelo a lo largo del tiempo.