ChainForge est un environnement de programmation visuelle open source, spécialisé dans l'ingénierie des invites. Il vous permet d'évaluer la robustesse des invites et des modèles de génération de texte, allant au-delà de simples preuves anecdotiques. Nous pensons que la soumission d'invites à plusieurs grands modèles de langage, la comparaison de leurs réponses et la vérification d'hypothèses à leur sujet devraient être non seulement faciles, mais aussi amusantes. ChainForge fournit un ensemble d'outils pour évaluer et visualiser la qualité des invites (et des modèles) avec un minimum d'effort. En d'autres termes, il vise à simplifier l'évaluation des grands modèles de langage. ChainForge prend en charge nativement des fonctionnalités telles que le test de la robustesse face aux attaques par injection d'invites, le test de la cohérence du format des réponses, l'envoi d'un grand nombre d'invites paramétrées et l'exportation vers des fichiers Excel, la vérification de la qualité des réponses d'un même modèle avec différents paramètres, la mesure de l'impact de différents messages système sur les sorties de ChatGPT, etc.