A OpenAI lançou recentemente uma atualização importante, introduzindo o recurso "Saídas Previsíveis" (Predicted Outputs) para o modelo GPT-4o. Essa inovação tecnológica melhora significativamente a velocidade de resposta do modelo, atingindo até 5 vezes a velocidade original em cenários específicos, proporcionando aos desenvolvedores uma experiência de eficiência totalmente nova.
Desenvolvido em conjunto pela OpenAI e pela FactoryAI, o recurso principal dessa função é a capacidade de contornar o processo de geração repetida de conteúdo conhecido. Na prática, ele se destaca em tarefas como atualização de artigos de blog, iteração de respostas existentes ou reescrita de código. Dados da FactoryAI mostram que, em tarefas de programação, o tempo de resposta foi reduzido de 2 a 4 vezes, comprimindo tarefas que levavam 70 segundos para apenas 20 segundos.
Atualmente, essa funcionalidade está disponível para desenvolvedores apenas por meio da API, com suporte para os modelos GPT-4o e GPT-4mini. O feedback prático tem sido positivo, com vários desenvolvedores realizando testes e compartilhando suas experiências. Eric Ciarla, fundador da Firecrawl, ao realizar a conversão de conteúdo de SEO, comentou: "Aumento de velocidade significativo, uso simples e direto."
Do ponto de vista técnico, a funcionalidade de Saídas Previsíveis funciona identificando e reutilizando partes de conteúdo previsíveis. A documentação oficial da OpenAI exemplifica que, em cenários como refatoração de código, ao modificar o atributo "Username" para "Email" em código C#, a inserção do arquivo de classe inteiro como texto de previsão pode aumentar significativamente a velocidade de geração.
No entanto, essa funcionalidade apresenta algumas restrições e precauções de uso. Além das limitações de suporte do modelo, alguns parâmetros da API não estão disponíveis ao usar Saídas Previsíveis, incluindo valores de n maiores que 1, logprobs e valores de presence_penalty e frequency_penalty maiores que 0.
É importante notar que, embora forneça uma velocidade de resposta mais rápida, essa funcionalidade acarreta um pequeno aumento de custo. Dados de testes de usuários mostram que, embora o tempo de processamento tenha diminuído de 5,2 segundos para 3,3 segundos ao usar a funcionalidade de Saídas Previsíveis, o custo aumentou de US$ 0,001555 para US$ 0,002675. Isso ocorre porque a OpenAI cobra a mesma taxa de tokens concluídos para as partes não concluídas fornecidas durante a previsão.
Apesar do pequeno aumento de custo, considerando o ganho significativo de eficiência, essa funcionalidade ainda apresenta um valor de aplicação considerável. Os desenvolvedores podem obter informações técnicas mais detalhadas e instruções de uso na documentação oficial da OpenAI.
Documentação oficial da OpenAI:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
