最近、マイクロソフトAI研究チームは、オープンソースツール「PromptWizard」を発表しました。これは、フィードバック駆動型のAIフレームワークであり、大規模言語モデル（LLM）のプロンプト設計を効率的に最適化することを目的としています。プロンプトの質は、モデル出力の良し悪しに非常に重要ですが、高品質なプロンプトの作成には、特に複雑なタスクや特定の分野のタスクでは、多くの時間と人的資源を費やす必要があります。
従来のプロンプト最適化方法は、人間の経験に大きく依存していました。この方法は時間のかかるだけでなく、拡張性も低いという問題がありました。既存の最適化技術は、連続型と離散型に分けられます。連続型技術（ソフトプロンプトなど）は大量の計算資源を必要とする一方、離散型方法（PromptBreederやEvoPromptなど）は、複数のプロンプトのバリエーションを生成して評価しますが、効果的なフィードバックメカニズムが不足しているため、結果が不十分になることが多々ありました。
PromptWizardは、フィードバックメカニズムを導入し、批判と統合を繰り返すことでプロンプト指示と例を最適化し、タスクのパフォーマンスを大幅に向上させます。そのワークフローは、生成フェーズとテスト推論フェーズの2つの段階に分かれています。生成フェーズでは、システムはLLMを使用して、基本プロンプトに基づいた複数のバリエーションを生成し、それらを評価して優れた候補を見つけます。同時に、フレームワークに組み込まれた批判メカニズムが各プロンプトの長所と短所を分析し、フィードバックを提供して、その後の最適化を導きます。複数回の最適化を経て、システムはプロンプトの多様性と質を向上させることができます。
テスト推論フェーズでは、最適化されたプロンプトと例が新しいタスクに適用され、パフォーマンスの継続的な向上を保証します。この方法により、PromptWizardは45個のタスクで広範な実験を行い、教師なしと教師ありの両方において優れた成果を上げています。例えば、GSM8Kデータセットで90％の教師なし精度を達成し、SVAMPでは82.3％を達成しました。さらに、PromptBreederなどの離散型方法と比較して、PromptWizardのAPI呼び出しとトークンの使用量は最大60倍も削減されており、リソースの限られた環境での効率性を示しています。
PromptWizardの成功は、革新的なシーケンシャル最適化、ガイダンス付き批判、専門家の役割統合によるものであり、特定のタスクに効果的に適応し、優れた解釈可能性を備えています。この進歩は、自然言語処理ワークフローにおける自動化フレームワークの重要性を示しており、高度なAI技術のより効率的で経済的な応用を促進すると期待されています。
プロジェクトコード: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
要点:
🌟 PromptWizardは大規模言語モデルのプロンプトを最適化し、モデルのパフォーマンスを向上させる新しいAIフレームワークです。
🔍 このフレームワークは、批判メカニズムとフィードバックループを組み合わせることで、複数のプロンプトのバリエーションを効率的に生成および評価します。
💰 PromptWizardは、複数のタスクで優れた精度を示し、リソース消費とコストを大幅に削減します。
