近年、特に大規模言語モデル（LLM）の登場により、人工知能分野では視覚と言語のシームレスな統合が大きな焦点となっています。しかし、マルチモーダルAGIシステムにおいては、視覚および視覚言語基盤モデルの開発はまだ遅れを取っています。
このギャップを埋めるため、南京大学、OpenGVLab、上海人工知能研究所、香港大学、香港中文大学、清華大学、中国科学技術大学、そしてSenseTime Researchの研究者らが、革新的なモデル「InternVL」を提案しました。このモデルは、視覚基盤モデルの規模を拡大し、汎用的な視覚言語タスクに適応できるように設計されています。
InternVLは、32種類の汎用的な視覚言語ベンチマークテストにおいて既存の手法を凌駕し、画像・動画分類、画像・動画テキスト検索、画像キャプション生成、VQA（Visual Question Answering）、マルチモーダル対話など、様々なタスクにおける優れた能力を示しました。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
近年、マルチモーダル大規模言語モデル（MLLM）は目覚ましい進歩を遂げ、特に視覚とテキストモーダルの統合において顕著な成果を上げています。しかし、ヒューマンコンピュータインタラクションの普及に伴い、音声モーダルの重要性もますます高まっており、特にマルチモーダル対話システムにおいては不可欠となっています。音声は情報伝達の重要な媒体であるだけでなく、インタラクションの自然性と利便性を大幅に向上させる役割も担っています。しかし、視覚データと音声データは本質的に異なるため、これらをMLLMに統合することは容易ではありません。例えば、視覚データは空間情報を伝達する一方、音声データは時間軸上の情報を伝達します。
この度、Sakana AIの科学者らが人工知能分野で画期的な進歩を遂げました。彼らは、ビジョン言語基盤モデル（vision-language foundation models、FMs）を用いて、人工生命（Artificial Life、ALife）シミュレーションの自動探索を世界で初めて実現しました。ASAL（Automated Search for Artificial Life、人工生命自動探索）と名付けられたこの研究は…
CogVLMは、中国の研究者によって開発されたオープンソースのビジョン言語基盤モデルです。言語情報と視覚情報を深く統合し、クロスモーダルタスクにおいて顕著な進歩を遂げています。新規の訓練方法を採用し、学習可能な視覚専門家を導入することで、VLMの事前学習における言語モデルの視覚理解能力を高め、深い統合方法のパフォーマンスの低さを回避しています。CogVLM-17Bは、画像キャプション、視覚的質問応答などの14のクロスモーダルベンチマークテストで優れた性能を示し、視覚理解研究と産業応用にとって大きな影響を与えています。オープンソースのCogVLM-28B-
MiniGPT-v2は、中国人チームによって開発された視覚モデルであり、GitHubで2万を超えるスターを獲得しています。このモデルは、オブジェクト記述、視覚的ローカリゼーション、画像キャプション生成など、さまざまな視覚タスクを実行できます。MiniGPT-v2は多段階トレーニングを採用し、Visual Question Answeringやgrounded benchmarkテストで優れた成績を収めています。ViTビジョンバックボーンをベースとし、シンプルなマルチモーダルプロンプトで効率的なタスク実行を実現しています。