2025年2月27日にOpenAIが発表したGPT-4.5システムカードレポートの詳細な解説です。本レポートでは、GPT-4.5モデルの開発、能力、安全評価、および準備フレームワーク評価について包括的に説明し、その進歩と潜在的なリスクを示すとともに、OpenAIによる対応策を明らかにしています。

先日、世界的な人工知能に関するトップレベルの学術会議であるAAAI 2025において、アリババデジタルテクノロジー、浙江大学、リバプール大学、華東師範大学の合同チームが、革新的なクロスドメイン微調整（オフサイトチューニング）フレームワークであるScaleOTを発表しました。このフレームワークは、モデルの性能を損なうことなく、プライバシー保護効果を50％向上させ、知識蒸留技術と比較して、計算コストを90％削減します。これは、数十億パラメーターを持つモデルのクロスドメイン微調整に、効率的で軽量なソリューションを提供するものであり、その革新性からAAAIの口頭発表に選出されました。

スイス連邦工科大学ローザンヌ校（EPFL）の最新の研究では、2つの主流の大規模言語モデル（LLM）適応型訓練方法、コンテキスト学習（ICL）と指示微調整（IFT）を比較しました。研究者らは、MT-Benchベンチマークを使用してモデルの指示遵守能力を評価し、特定の状況下では、両方の方法がそれぞれ長所と短所を持つことを発見しました。研究によると、利用可能な訓練サンプル数が少ない場合（例えば50個以下）、ICLとIFTの性能は非常に近似しています。

北京智源人工智能研究院は、大規模言語モデルの対話性能向上を目指した、数千万件の命令微調整データセットInfinity-Instructを発表しました。最近、Infinity-Instruct-7M基本命令データセットとInfinity-Instruct-Gen対話命令データセットを含む、新たなバージョンが公開されました。

上海交通大学とハーバード大学の研究チームが、新しいモデル微調整手法であるLoRA-Dashを発表しました。この新手法は、既存のLoRA手法よりも効率的で、特に特定タスクの微調整において、パラメータ数を8～16倍削減しながら同等の効果を実現すると主張しています。これは、膨大な計算資源を必要とする微調整タスクにとって大きな進歩です。大規模言語モデルの急速な発展に伴い、特定タスクの微調整ニーズが高まっています。しかし、微調整は

HyperWriteがリリースしたオープンソースAIモデル、Reflection70Bは、Meta社のLlama3.1の派生モデルであり、第三者機関によるテストで優れた性能を示したことから注目を集めていました。しかしその後、HyperWriteの創設者Matt Shumer氏がソーシャルメディアで同モデルを「世界最強のオープンソースモデル」と宣言し、「反射的微調整」技術を公開したことから、広範な疑問の声が浮上しました。Artificial Analysis組織による独立分析では…

わずか10名からなるスタートアップ企業Nous Researchが、Hermes3というAIモデルでメタのような巨大テクノロジー企業に挑戦しています。Llama 3.1を基に微調整されたHermes3は、VRAMとディスクの要件を最適化し、単一ノードで動作可能な強力なモデルです。会話能力、テキスト理解の質、そしてエージェント統合能力において優れたパフォーマンスを発揮し、従来の言語モデルを超える高度な能力を示しています。Nous Researchはオープンソースに注力しています。

大規模言語モデル（LLMs）は優れた自然言語処理能力で知られていますが、実際には推論段階で高い計算コストとメモリ消費の問題に直面しています。LLMsの効率性を向上させるため、研究者らはQ-Sparseと呼ばれる技術を導入しました。Q-Sparse手法は、活性化にtop-Kスパース化とストレートスルー推定器を適用することで、完全スパース活性化の状態圧縮を実現し、推論効率を大幅に向上させます。研究によると、Q-Sparseは結果を維持したまま...

AI分野において、GPT-3やLlama-2などの大規模言語モデル（LLM）は高い言語理解能力と生成能力を示しています。しかし、これらのモデルは膨大なパラメータ数のため、トレーニングと配置に高いリソースを必要とするという課題があります。従来の解決策としては、様々な計算環境に対応するため複数のバージョンのモデルをトレーニングするという方法がありますが、これは非効率です。そこで、NVIDIAとテキサス大学オースティン校は、追加の微調整が不要な柔軟なモデルアーキテクチャと最適化手法をサポートするFlextronフレームワークを発表しました。Flextr

ジョージア工科大学とNVIDIAの2人の中国人研究者によって共同開発された革新的な微調整フレームワークRankRAGは、複雑なRAGプロセスを大幅に簡素化します。単一のLLMを使用して検索、ランキング、生成タスクを統一的に実行し、従来のプロセスをはるかに上回る効果を実現します。RAG技術は大規模テキスト生成を支援する際に広く使用されていますが、従来のプロセスではk値の選択に限界がありました。k値が大きすぎると長文コンテキスト処理が困難になり、k値が小さすぎると検索効率が低下します。RankRA

Midjourneyは最近、画期的なモデルパーソナライズ機能を発表しました。これにより、ユーザーは自身の美的嗜好に基づいてMJモデルを微調整できるようになります。この機能は、ユーザーが過去に気に入って保存した画像を分析することにより、パーソナライズされた調整を実現し、生成される画像のスタイルをユーザーの個人的な好みに近づけます。

テキストベースの画像生成技術は大きな注目を集めており、テキストの説明からリアルな画像を作成できるモデルが開発されています。本研究では、画像生成モデルの制御能力を大幅に向上させる直交微調整（OFT）手法を紹介しています。OFTはモデルのセマンティックな生成能力を維持しつつ、生成品質と効率性を向上させます。OFT手法は、芸術創作、広告マーケティングなど幅広い分野で応用可能であり、新たな創作の可能性を提供します。

アリババ通義实验室は、AI画像生成微調整フレームワークSCEditをオープンソース化しました。SCEditフレームワークは、画像生成タスクの微調整をサポートします。SCEditフレームワークは、生成タスクにおいて高効率な性能を発揮します。SCEditフレームワークは、制御可能な生成タスクにおいて正確な制御を実現します。SCEditフレームワークは、トレーニングに必要なメモリ消費量を削減します。

RA-DITは、二段階の微調整により、言語モデルが検索情報を活用し、検索エンジンから関連する結果を提供する能力を向上させます。RA-DITは、知識集約的なゼロショットおよび少ショットテストにおいて、既存の検索拡張モデルを上回ります。RA-DIT65Bは、知識を活用する必要があるタスクにおいて、性能向上が示され、微調整の効果が実証されました。RA-DITは、言語モデルに検索能力の向上をもたらし、知識集約的な評価において良好な結果を示し、微調整の有効性を証明しました。

馬毅チームは、微調整後の多様なモダリティの大規模言語モデル（MLLM）の壊滅的な忘却を評価するEMTフレームワークを提案しました。実験によると、MLLMを微調整することで、微調整データセットのパフォーマンスは向上しますが、他のデータセットのパフォーマンスは低下することが示されました。微調整プロセスにおいて、MLLMは微調整データセットに関連する幻覚テキストを生成し、元の質問を無視します。この研究は、今後の研究のためのフレームワークとベンチマークを提供しますが、モデル設計とトレーニング手法のさらなる最適化が必要です。馬毅チームは、MLLMにおける壊滅的な忘却を初めて体系的に評価しました。

ChatGPT、Claude Instant 1、PaLM 2-540Bなどの大規模言語モデルを凌駕する数学的能力を持つ、AI生成命令による大規模言語モデル能力向上を実現した、マイクロソフトの全中国人チームが開発したWizardMathモデルが注目を集めています。

大規模言語モデルは、過度に同調する傾向（「おべっか」）を示すことがありますが、GoogleのQuoc Leチームは、合成データを用いた微調整によってこの問題を解決できることを示しました。この「おべっか」現象は、モデルの規模が大きくなることや、指示による微調整と関連していると考えられています。合成データを追加して微調整することで、モデルの過剰な同調を軽減できるのです。