3月6日、北京智源人工知能研究院は、マルチモーダルベクトルモデルBGE-VLをオープンソース化すると発表しました。この成果は、マルチモーダル検索分野における新たなブレークスルーを意味します。BGE-VLモデルは、画像テキスト検索、複合画像検索などのマルチモーダル検索タスクにおいて最良の結果を達成し、マルチモーダル検索のパフォーマンスを大幅に向上させました。

2025年1月15日、北京月面暗黒科技有限公司は、新たな多モーダル画像理解モデルmoonshot-v1-vision-previewの正式公開を発表しました。このモデルはmoonshot-v1モデルシリーズの多モーダル能力を向上させ、Kimiによる世界理解を支援します。Visionモデルは強力な画像認識能力を備え、画像内の複雑なディテールや微妙な違いを正確に識別できます。食べ物や動物など、類似しているが異なるオブジェクトを区別することも可能です。例えば、16...

先日、元マイクロソフトアジア研究院のビジョン計算グループ首席研究員の胡瀚氏がテンセントに入社し、混元多モーダル大規模モデルの開発を担当することが発表されました。このニュースは業界で大きな注目を集め、胡瀚氏の加入はテンセントの人工知能事業に新たな活力を与えるものと期待されています。胡瀚氏は2008年に清華大学を卒業、2014年に同大学で博士号を取得し、周杰教授に師事しました。2016年には博士論文が中国人工知能学会優秀博士論文賞を受賞するなど、高い学識を持ちます。2012年には…

アリババは最近、QVQ-72Bという新しい多モーダル推論モデルを発表しました。このモデルはQwen2-VL-72Bをベースに構築されており、強力な言語能力と視覚能力を融合することで、より複雑な推論と分析タスクを処理できます。これは、アリババが多モーダルAI分野で新たなブレークスルーを達成したことを意味します。QVQ-72Bは、視覚推論、数学、科学の問題において顕著な性能向上を示しており、特に複数ステップの推論タスクにおいてその能力を発揮します。つまり、このモデルはテキスト情報だけでなく、画像情報も理解し、複数ステップを経て処理できるということです。

「AIの母」として知られるスタンフォード大学の李飛飛教授と彼女のチームは、多モーダル大規模モデルの「空間知能」に関する研究を発表しました。この研究は、これらのモデルが空間に関する記憶と想起において初期段階の能力を備えており、局所的な世界モデルを形成する可能性を示しています。研究チームは、視覚空間知能を評価するためのツールであるVSI-Benchを開発しました。VSI-Benchには、288本の現実世界のビデオに基づいた5000以上の高品質な質疑応答ペアが含まれています。テストビデオは、居住空間、専門的な場所、工業現場など、複数の地理的な場所を網羅しています。

李飛飛チームは、人間の動作を理解・生成し、言語モデルと組み合わせることで口頭・非言語の統一処理を実現する新たな多モーダルモデルを発表しました。この画期的な研究により、機械は人間の指示を理解するだけでなく、動作に含まれる感情を読み解き、より自然なヒューマンコンピュータインタラクションが可能になります。本モデルの中核は、音声、動作、テキストなど多様な形式の入力を受容し、必要なモーダルデータを出力する多モーダル言語モデルフレームワークにあります。生成系事前学習戦略と組み合わせることで、モデルは…

先日、複数の中国の研究機関の研究チームが、Infinity-MMという超大規模多モーダルデータセットを発表し、このデータセットに基づいて、性能が優れたAIモデルAquila-VL-2Bを開発しました。この画期的な成果は、多モーダルAIの発展に新たな勢いをもたらします。Infinity-MMデータセットは驚異的な規模を誇り、1000万件の画像説明、2440万件の汎用ビジュアル指示データ、600万件の厳選された高品質指示データ、そして300万件のG…

9月26日、インテリジェントロボット企業の蔚蓝科技は、新しい4足歩行ロボットBabyAlpha A2を発表しました。その多モーダルインタラクション機能と手頃な価格で、中国のスマートホーム市場に旋風を巻き起こしています。BabyAlpha A2は、愛らしいデザインのスマートパートナーであるだけでなく、家庭用スマート化の先駆けでもあります。中国で初めて多モーダルインタラクション機能を搭載したAI搭載4足歩行ロボットとして、1万元を切る価格で、一般家庭にスマートな生活への扉を開きました。このロボットは、パーソナライズされた機能など、多くの先進機能を搭載しています。

最近、Molmoというオープンソースの多モーダルAIモデルが業界で大きな注目を集めています。OpenAIのCLIPをビジョン処理エンジンとして使用し、Qwen2-72BをベースとしたこのAIシステムは、その優れた性能と革新的な機能で、従来の商用モデルの覇権に挑戦しています。Molmoの顕著な特徴はその高い性能です。比較的サイズが小さいにもかかわらず、処理能力は10倍規模の競合他社に匹敵します。この小さくても強力な設計思想は、モデルの効率性を高めることに貢献しています。

MedTrinity-25Mは、UCSC-VLAAチームによって公開された大規模な多モーダル医学データセットであり、2500万枚の医学画像とその詳細なアノテーションが含まれています。このデータセットは、多粒度のアノテーションを備えており、医学多モーダル大規模モデルのトレーニングをサポートします。その構築プロセスは複雑で、データ処理、メタデータ抽出、関心領域の特定、医学知識の収集を行い、大規模言語モデルを使用して詳細な説明を生成することで、データの可用性を向上させています。このデータセットは2024年7月21日に正式に公開され、事前トレーニング済みモデルも提供されています。

PaddleMIX 2.0は、百度が発表した多モーダル大規模モデル開発キットであり、多モーダルアプリケーション開発の簡素化を目指し、自動運転、スマート医療、検索エンジンなどのシナリオをサポートします。主な特長は以下のとおりです。1. **豊富なモデルライブラリ**: 画像、テキスト、ビデオ、音声に対応し、LLaVAシリーズモデルを追加、最先端技術をサポートします。2. **フルプロセス開発体験**: DataCopilotとAutoモジュールを搭載し、多モーダルモデルのトレーニングプロセスを簡素化します。3. **高性能トレーニング能力**

書生・浦語霊筆（InternLM-XComposer）2.5バージョンは、上海人工知能研究所によって開発され、長いコンテキストの入出力能力を特長としています。96Kの長さでスムーズに動作し、24Kのインターリーブされた画像テキストデータでトレーニングされています。主なアップグレードポイントには、高解像度画像の理解、詳細なビデオの理解、複数ラウンドの複数画像の対話などが含まれます。応用として、Webページの作成、高品質な画像付き記事の作成などが可能です。評価によると、16個のベンチマークテストでオープンソースの最先端モデルを上回り、重要なタスクではGPT-4V、Gemと肩を並べます。

香港大学とテンセントの研究者らが、短動画推薦の精度向上を目指した、全く新しい多モーダル推薦システムパラダイム「DiffMM」を発表しました。本システムは、ユーザーと動画の情報を含むグラフを作成し、グラフ拡散とコントラスティブ学習技術を用いることで、ユーザーと動画間の関係をより深く理解し、より正確な推薦を実現します。

2024年世界人工知能大会において、商湯科技は国内初のWYSIWYGモデル「日日新5o」を発表しました。このモデルはGPT-4oと同等のインタラクション体験を提供し、リアルタイムのストリーミング多モーダルインタラクションを実現しています。音声、テキスト、画像、ビデオなどのクロスモーダル情報を統合することで、リアルタイムでの理解と応答が可能です。例えば、スタッフの着用している胸カードを認識して会場の位置を判断したり、ぬいぐるみ犬の見た目や服装を記述したり、スタッフが手描きした絵画を即座に評価したりすることができます。

「Lingdong」ブランドは、网易伏羲が独自開発した産業レベルの大規模モデルとAOP（人工知能操作知覚）技術理念に基づいて、丁寧に作り上げられました。ブランドの主力製品である掘削ロボットと装填ロボットは、50以上の省レベル重点プロジェクトに導入され、鉱山、港湾、ミキシングプラント、学校など、多様な用途で活用されています。

アップルとスイス連邦工科大学ローザンヌ校（EPFL）の研究者らが共同で開発した、任意のモダリティ間の変換が可能な単一モデル。数十種類にも及ぶ多様なモダリティでトレーニングされ、大規模なマルチモーダルデータセットとテキストコーパスを協調して学習しています。4M-21と名付けられたこのモデルは、21種類の異なるモダリティでトレーニングされており、既存のモデルと比較して少なくとも3倍以上のタスクをこなすことができ、パフォーマンスの低下もありません。

テンセントクラウドは最近、巨大言語モデル知識エンジンを発表しました。これは、知識サービスアシスタントを迅速に構築できるツールです。業界レポート、会議用PPT、教科書、マニュアル、契約書、学術論文など、複雑なPDF文書の処理に特に優れています。これらの文書は、テキスト、画像、表が含まれ、フォーマットが複雑なため、従来のOCR技術では困難でした。