マイクロソフト研究所と北京航空航天大学の研究チームは、マルチモーダル大規模言語モデル（MLM）開発における課題解決を目指し、高効率なマルチモーダル埋め込みフレームワークE5-Vを発表しました。この革新的なフレームワークは、単一モーダル学習によってマルチモーダル学習プロセスを簡素化し、従来のモデルに見られた独立したエンコーダーへの依存と、それに伴う入力統合の非効率性を克服します。E5-Vはテキストと画像情報を統合することでトレーニングコストを削減し、テキスト-画像検索、画像検索など、複数の複雑なタスクにおいて優れた性能を示しました。特にゼロショット学習において…

マイクロソフトの研究者らがSpreadsheetLLMという研究を発表しました。これは、革新的なコーディングフレームワークを通じて大規模言語モデル（LLM）がスプレッドシートを解釈できるようにすることを目指し、データ管理と分析における効率性の課題を解決しようとするものです。複雑な数式や操作を習得する必要なく、自然言語でAIに質問することでスプレッドシート処理の効率を向上できることが期待されています。主な貢献としては、SheetCompressorとChain of Spreadsheetという2つのコア技術があり、後者は…

研究者のエリー・パブリック氏は、マイクロ言語モデルのトレーニングは、ヒトゲノムではなくショウジョウバエのゲノムを解読するようなものだと述べています。マイクロソフトの研究者たちは、童話を用いてマイクロ言語モデルをトレーニングし、顕著な結果を得ています。大規模言語モデルと比較して、マイクロ言語モデルはトレーニング速度が速く、内部メカニズムもより理解しやすいです。この手法は、より大規模なモデルのトレーニングや、それらの動作の分析に役立ちます。研究結果によると、童話を用いてトレーニングされたマイクロ言語モデルは、首尾一貫した文法的に正しい物語を語ることができることが示されました。