PromptBench est une bibliothèque Python basée sur PyTorch, conçue pour évaluer les grands modèles linguistiques (LLM). Elle offre aux chercheurs une API conviviale pour l'évaluation des LLM. Ses principales fonctionnalités incluent : l'évaluation rapide des performances des modèles, l'ingénierie des invites, l'évaluation des invites adversariales et l'évaluation dynamique. Son principal avantage réside dans sa simplicité d'utilisation, permettant une évaluation rapide des modèles et des ensembles de données existants, ainsi qu'une personnalisation aisée des ensembles de données et des modèles. Il se positionne comme une bibliothèque open source unifiée pour l'évaluation des LLM.