OpenAIが新たなフラッグシップモデルGPT-4o miniを発表。Azure AIプラットフォームで正式リリースされました。テキスト処理機能を主に強化しており、先行モデルGPT-3.5 Turboと比べ、より高度なインテリジェンスを実現しています。MMLUテストでのスコアは70％から82％に上昇、コストは60％以上削減されました。128Kコンテキストウィンドウと、より充実した多言語対応も特徴です。Azure OpenAI Studio Playgroundで無料トライアルが可能です。Azure AIは標準的なセキュリティを提供します。

魔搭コミュニティはvLLMとFastChatと連携し、高効率なLLM推論とデプロイサービスを提供します。開発者は、FastChatでvLLMを推論エンジンとして使用することで、高スループットのモデル推論を実現できます。FastChatは、LLMベースのChatBotのトレーニング、サービス提供、評価を行うためのオープンなプラットフォームです。vLLMは、カリフォルニア大学バークレー校、スタンフォード大学、カリフォルニア大学サンディエゴ校の研究者によって開発されたLLMサービスシステムです。