OpenAIは最近、GPT-4oモデルに「予測出力」(Predicted Outputs)機能という重要なアップデートを発表しました。この革新的な技術により、モデルの応答速度が大幅に向上し、特定の状況では最大5倍の速度を実現、開発者にとって全く新しい効率性を提供します。
OpenAIとFactoryAIが共同開発したこの機能の最大の利点は、既知のコンテンツの重複生成プロセスを回避できることです。ブログ記事の更新、既存の返信の反復、コードの書き直しなど、実際的な用途において特に優れたパフォーマンスを発揮します。FactoryAIが提供したデータによると、プログラミングタスクでは応答時間が2～4倍短縮され、70秒かかっていたタスクが20秒で完了するようになりました。
現在、この機能はAPIを通じて開発者向けにのみ提供されており、GPT-4oとGPT-4miniの2つのモデルをサポートしています。実際の使用状況からのフィードバックは好意的で、多くの開発者がテストを行い、使用感を共有しています。Firecrawlの創設者であるEric Ciarla氏は、SEOコンテンツの変換において「速度が大幅に向上し、使い方がシンプルで分かりやすい」と述べています。
技術的な面では、予測出力機能は予測可能なコンテンツ部分を識別して再利用することで動作します。OpenAIの公式ドキュメントでは、コードの再構成などのシナリオを例に挙げています。例えば、C#コードの「Username」属性を「Email」に変更する場合、クラスファイル全体を予測テキストとして入力することで、生成速度を大幅に向上させることができます。
しかし、この機能にはいくつかの使用上の制限と注意事項があります。モデルのサポートの制限に加えて、予測出力を使用する際には、n値が1より大きい場合、logprobs、presence_penaltyとfrequency_penaltyが0より大きい場合など、一部のAPIパラメーターは使用できません。
注目すべき点として、この機能は応答速度を向上させる一方で、わずかなコスト増加をもたらします。ユーザーテストデータによると、予測出力機能を使用すると、同じタスクの処理時間は5.2秒から3.3秒に短縮されますが、費用は0.1555セントから0.2675セントに増加します。これは、OpenAIが最終的な完成部分ではない予測時に提供されたトークンにも、完成トークンの料金と同じ料金を適用するためです。
コストがわずかに増加するものの、大幅な効率向上を考慮すると、この機能は依然として非常に実用的な価値を持っています。開発者はOpenAIの公式ドキュメントで、より詳細な技術説明と使用方法に関するガイドを入手できます。
OpenAI公式ドキュメント:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
