アマゾンは、近日「Olympus」と呼ばれるマルチモーダル大規模言語モデルを開発中であると報じられています。同モデルは、来週開催されるAWS re:Inventカンファレンスで正式発表される見込みです。theinformationの情報によると、このアルゴリズムの内部コードネームは「Olympus」です。昨年11月、ロイター通信はアマゾンが「Olympus」と呼ばれる大規模言語モデルのトレーニングに数百万ドルを投資していると報じており、パラメーター数は2兆個に達するとされています。今回の発表では…

Meta AIは最近、SPIRIT LMと呼ばれる基礎的なマルチモーダル言語モデルを大々的にオープンソース化しました。このモデルはテキストと音声の自由な混合が可能で、音声とテキストのマルチモーダルタスクに新たな可能性を開きます。SPIRIT LMは70億パラメーターの事前学習済みテキスト言語モデルをベースに、テキストと音声のユニットで継続的に学習することで音声モダリティに拡張されました。テキストの大規模言語モデルのようにテキストを理解・生成できるだけでなく、音声の理解・生成も可能で、テキストと音声を混合して様々なものを創造することもできます。

Salesforce AI研究チームは最近、新たなマルチモーダル言語モデルであるBLIP-3-Videoを発表しました。動画コンテンツの急増に伴い、動画データを効率的に処理することが喫緊の課題となっています。このモデルは、自動運転からエンターテインメントまで、あらゆる業界で動画理解の効率と効果を高めることを目指しています。従来の動画理解モデルは、多くの場合、動画をフレームごとに処理して大量の視覚情報を生成していました。このプロセスは、膨大な計算資源を消費するだけでなく、処理能力も大きく制限していました。

零一万物から、Yi-VLマルチモーダル言語モデルがリリースされました。Yi-VL-34BとYi-VL-6Bの2つのバージョンが含まれています。Yi-VLモデルは、画像とテキストの理解、対話生成において優れた能力を備えています。Yi-VLモデルは、英語と中国語のデータセットでトップクラスの成績を収めています。Yi-VL-34Bは、41.6%の精度で他のマルチモーダル大規模モデルを凌駕しています。Yi-VLモデルはLLaVAアーキテクチャに基づいており、強力な言語理解と生成能力を備えています。

NExT-GPTは、シンガポール国立大学がオープンソース化したマルチモーダル言語モデルであり、テキスト、画像、ビデオ、オーディオの処理をサポートし、マルチメディア人工知能アプリケーションに強力なサポートを提供します。線形投影、Vicuna LLMコア、モダリティ固有の変換層の3層アーキテクチャを採用し、MosIT技術を用いて中間層のトレーニングを行います。オープンソースへの貢献により、研究者や開発者はマルチモーダル入力を統合したアプリケーションを作成することができ、潜在的な応用分野は広範囲に及びます。NExT-GPTのユニークな点は、ユーザーの要求に応じてモダリティを生成できることです。