Recentemente, a equipe de pesquisa de IA da Microsoft lançou a ferramenta de código aberto PromptWizard, uma estrutura de IA baseada em feedback projetada para otimizar eficientemente o design de prompts para modelos de linguagem grandes (LLMs). A qualidade do prompt é crucial para a qualidade da saída do modelo; no entanto, criar prompts de alta qualidade geralmente exige muito tempo e recursos humanos, especialmente em tarefas complexas ou de domínio específico.
Os métodos tradicionais de otimização de prompts dependem muito da experiência humana, um método não apenas demorado, mas também difícil de escalar. As técnicas de otimização existentes são divididas em contínuas e discretas. Técnicas contínuas, como prompts suaves, exigem muitos recursos computacionais, enquanto métodos discretos, como PromptBreeder e EvoPrompt, geram várias variações de prompts para avaliação. Embora esses métodos apresentem bom desempenho em alguns casos, eles carecem de um mecanismo de feedback eficaz, muitas vezes levando a resultados insatisfatórios.
O PromptWizard introduz um mecanismo de feedback, usando uma abordagem crítica e sintética para otimizar iterativamente instruções e exemplos de prompts, melhorando significativamente o desempenho da tarefa. Seu fluxo de trabalho é dividido em duas fases: geração e teste de inferência. Na fase de geração, o sistema usa modelos de linguagem grandes para gerar várias variações baseadas em prompts básicos e avaliá-las para encontrar candidatos de alto desempenho. Simultaneamente, o mecanismo de crítica embutido na estrutura analisa os pontos fortes e fracos de cada prompt, fornecendo feedback para orientar otimizações subsequentes. Após várias rodadas de otimização, o sistema melhora a diversidade e a qualidade dos prompts.
Na fase de teste de inferência, os prompts e exemplos otimizados são aplicados a novas tarefas para garantir a melhoria contínua do desempenho. Usando este método, o PromptWizard realizou experimentos abrangentes em 45 tarefas e obteve resultados excelentes em configurações supervisionadas e não supervisionadas. Por exemplo, ele alcançou uma precisão não supervisionada de 90% no conjunto de dados GSM8K e 82,3% no SVAMP. Além disso, em comparação com métodos discretos como o PromptBreeder, o PromptWizard reduziu em até 60 vezes o número de chamadas de API e o uso de tokens, demonstrando sua eficiência em ambientes com recursos limitados.
O sucesso do PromptWizard reside em sua otimização sequencial inovadora, crítica orientada e integração de papéis de especialista, permitindo que ele se adapte eficazmente a tarefas específicas e tenha boa interpretabilidade. Este avanço indica a importância das estruturas automatizadas no fluxo de trabalho de processamento de linguagem natural, prometendo promover aplicações mais eficazes e econômicas de tecnologias de IA avançadas.
Código do projeto: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
Destaques:
🌟 PromptWizard é uma nova estrutura de IA para otimizar prompts de modelos de linguagem grandes, melhorando o desempenho do modelo.
🔍 A estrutura combina um mecanismo de crítica e um ciclo de feedback para gerar e avaliar eficientemente várias variações de prompts.
💰 PromptWizard demonstra precisão excepcional em várias tarefas e reduz significativamente o consumo de recursos e custos.
