医療AI評価に焦点を当てた研究論文において、マイクロソフトが複数のトップレベルの大規模言語モデルのパラメータ規模をうっかり公開した可能性がある。12月26日に公開されたこの論文は、OpenAIやAnthropicを含む複数企業のモデルパラメータデータを明らかにし、モデルアーキテクチャと技術力の議論を巻き起こしている。論文によると、OpenAIのo1-previewモデルは約3000億パラメータ、GPT-4oは約2000億パラメータ、GPT-4o-miniはわずか80億パラメータであるとされている。

人工知能分野において、後訓練技術はモデル性能向上のための重要な手段になりつつあります。先日、アレン人工知能研究所（AI2）は、Tülu3シリーズモデルを発表しました。これは、GPT-4o-miniなどのクローズドソースモデルに匹敵する性能を持つ、完全にオープンソースの高度な言語モデルです。Tülu3には、モデルデータ、コード、トレーニングレシピに加え、評価フレームワークも含まれており、オープンソースモデルの後訓練技術の発展を促進することを目的としています。従来、事前学習のみのモデルは、実際的な用途のニーズを効果的に満たせないことが多く、問題となる可能性がありました。

GPT-4o や GPT-4o-mini などの大規模言語モデルの登場は、自然言語処理分野に大きな進歩をもたらしました。これらのモデルは、高品質な応答の生成、ドキュメントの書き直し、および様々なアプリケーションの生産性向上を実現します。しかし、これらのモデルが直面する主な課題の1つは、応答生成の遅延です。ブログの更新やコードの最適化などにおいて、この遅延はユーザーエクスペリエンスに悪影響を与える可能性があり、特にドキュメントの修正やコードのリファクタリングなど、複数回の反復が必要なシナリオでは、ユーザーはフラストレーションを感じる可能性があります。

OpenAIはAPIに構造化出力機能を追加し、生成された出力が事前に設定されたJSONスキーマに完全に準拠することを保証することで、APIの信頼性とアプリケーションの精度を大幅に向上させました。この機能はJSONの構造を定義するだけでなく、出力の正確性も保証します。同時に、価格も値下げされ、入力コストは半分、出力コストは1/3削減されました。構造化出力の導入により、JSONスキーマが特定の構造への適合性を保証する上での限界が解消され、モデルの構造化出力におけるパフォーマンスが大幅に向上しました。技術革新（制限付きなど）によるものです。