torchao est une bibliothèque PyTorch axée sur les types de données et les optimisations personnalisées, prenant en charge la quantification et la sparsification des poids, des gradients, des optimiseurs et des fonctions d'activation pour l'inférence et l'entraînement. Compatible avec torch.compile() et FSDP2, elle permet d'accélérer la plupart des modèles PyTorch. torchao vise à améliorer la vitesse d'inférence et l'efficacité de la mémoire des modèles, en réduisant autant que possible la perte de précision, grâce à des techniques telles que l'entraînement conscient de la quantification (QAT) et la quantification post-entraînement (PTQ).