Das Microsoft AI-Forschungsteam hat kürzlich das Open-Source-Tool PromptWizard veröffentlicht. Dies ist ein feedbackgesteuerter KI-Framework, das darauf ausgelegt ist, die Gestaltung von Prompts für große Sprachmodelle (LLMs) effizient zu optimieren. Die Qualität des Prompts ist entscheidend für die Qualität der Modell-Ausgabe. Die Erstellung hochwertiger Prompts erfordert jedoch oft viel Zeit und Ressourcen, insbesondere bei komplexen oder domänenspezifischen Aufgaben.
Traditionelle Methoden zur Prompt-Optimierung verlassen sich meist auf Erfahrungswerte. Dies ist nicht nur zeitaufwendig, sondern auch schwer skalierbar. Bestehende Optimierungstechniken lassen sich in kontinuierliche und diskrete Methoden unterteilen. Kontinuierliche Techniken wie Soft Prompts benötigen erhebliche Rechenressourcen, während diskrete Methoden wie PromptBreeder und EvoPrompt verschiedene Prompt-Varianten generieren und bewerten. Obwohl diese Methoden in einigen Fällen gute Ergebnisse liefern, mangelt es ihnen an effektiven Feedback-Mechanismen, was oft zu unbefriedigenden Ergebnissen führt.
PromptWizard führt einen Feedback-Mechanismus ein und verwendet eine iterative Optimierung von Prompts und Beispielen durch Kritik und Synthese, um die Leistung der Aufgaben deutlich zu verbessern. Der Arbeitsablauf gliedert sich in zwei Phasen: die Generierungsphase und die Test-Inferenzphase. In der Generierungsphase erzeugt das System verschiedene Varianten basierend auf einem Basis-Prompt, bewertet diese und sucht nach leistungsstarken Kandidaten. Ein integrierter Kritikmechanismus analysiert gleichzeitig die Vor- und Nachteile jedes Prompts und liefert Feedback für die weitere Optimierung. Durch mehrere Optimierungsrunden verbessert das System die Vielfalt und Qualität der Prompts.
In der Test-Inferenzphase werden die optimierten Prompts und Beispiele auf neue Aufgaben angewendet, um eine kontinuierliche Leistungssteigerung sicherzustellen. Mit dieser Methode erzielte PromptWizard in umfangreichen Experimenten mit 45 Aufgaben hervorragende Ergebnisse in überwachten und unüberwachten Szenarien. Beispielsweise erreichte es eine Genauigkeit von 90 % im unüberwachten Modus auf dem GSM8K-Datensatz und 82,3 % auf SVAMP. Im Vergleich zu diskreten Methoden wie PromptBreeder reduziert PromptWizard die Anzahl der API-Aufrufe und die Token-Verwendung um bis zu 60-fach, was seine Effizienz in ressourcenbeschränkten Umgebungen unterstreicht.
Der Erfolg von PromptWizard liegt in seiner innovativen sequenziellen Optimierung, der gelenkten Kritik und der Integration von Expertenrollen, wodurch er sich effektiv an spezifische Aufgaben anpassen und eine gute Interpretierbarkeit aufweist. Dieser Fortschritt unterstreicht die Bedeutung automatisierter Frameworks im Workflow der Verarbeitung natürlicher Sprache und verspricht eine effizientere und kostengünstigere Anwendung fortschrittlicher KI-Technologien.
Projektcode: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
Forschungsarbeit: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
Highlights:
🌟 PromptWizard ist ein neuartiges KI-Framework zur Optimierung von Prompts für große Sprachmodelle und zur Verbesserung der Modellleistung.
🔍 Das Framework kombiniert einen Kritikmechanismus und einen Feedback-Zyklus, um effizient verschiedene Prompt-Varianten zu generieren und zu bewerten.
💰 PromptWizard zeigt in verschiedenen Aufgaben eine hervorragende Genauigkeit und reduziert gleichzeitig den Ressourcenverbrauch und die Kosten erheblich.