PromptBench é um pacote Python baseado em Pytorch para avaliação de grandes modelos de linguagem (LLM). Ele fornece uma API amigável para pesquisadores avaliarem LLMs. Suas principais funcionalidades incluem: avaliação rápida do desempenho do modelo, engenharia de prompts, avaliação de prompts adversariais e avaliação dinâmica. Suas vantagens são a facilidade de uso e a rápida avaliação de conjuntos de dados e modelos existentes, além da possibilidade de fácil personalização de seus próprios conjuntos de dados e modelos. Seu objetivo é ser uma biblioteca open source unificada para avaliação de LLMs.