Cappy est une nouvelle méthode visant à améliorer les performances et l'efficacité des grands modèles linguistiques multitâches. Il s'agit d'un évaluateur pré-entraîné léger, basé sur RoBERTa, ne comportant que 360 millions de paramètres. Cappy peut résoudre indépendamment des tâches de classification ou servir de composant auxiliaire pour améliorer les performances des modèles linguistiques. Le fin-réglage de Cappy sur des tâches en aval permet d'intégrer efficacement les informations supervisées, d'améliorer les performances du modèle sans rétropropagation aux paramètres du modèle linguistique, réduisant ainsi les besoins en mémoire. Cappy est compatible avec les modèles linguistiques open source et propriétaires, offrant une méthode de fin-réglage efficace.