「画像を見て話す」神器として知られるGPT-4Vを覚えていますか？画像は理解し、画像に基づいてタスクを実行できる、まさに怠け者のための福音です！しかし、致命的な弱点がありました。視力が悪いのです！GPT-4Vにボタンをクリックしてもらおうとすると、まるで「画面盲」のようにあちこちクリックしてしまい、イライラした経験はありませんか？今回ご紹介するのは、GPT-4Vの視力を向上させる神器、OmniParserです！これはマイクロソフトが発表した新しいモデルで、グラフィカルユーザーインターフェース（GUI）の自動操作における課題解決を目指しています。

MiniCPM-V2.6は、わずか8Bパラメータながら、20B以下のシングル画像、マルチ画像、ビデオ理解の3つのタスクでSOTA（State of the Art、最先端）を達成した端側AIマルチモーダルモデルです。端側AIのマルチモーダル能力を大幅に向上させ、GPT-4Vと全面的に匹敵するレベルに達しています。

書生・浦語霊筆（InternLM-XComposer）2.5バージョンは、上海人工知能研究所によって開発され、長いコンテキストの入出力能力を特長としています。96Kの長さでスムーズに動作し、24Kのインターリーブされた画像テキストデータでトレーニングされています。主なアップグレードポイントには、高解像度画像の理解、詳細なビデオの理解、複数ラウンドの複数画像の対話などが含まれます。応用として、Webページの作成、高品質な画像付き記事の作成などが可能です。評価によると、16個のベンチマークテストでオープンソースの最先端モデルを上回り、重要なタスクではGPT-4V、Gemと肩を並べます。

最近、Home AssistantというユーザーがGPT-4Visionを自宅のカメラに接続するという大胆な実験を行いました。AIによる24時間監視の様子を公開した動画はXで100万回以上再生されました！

AIの世界に、注目すべき新メンバーが登場しました。LeCun氏とXie Saining氏ら業界の重鎮が共同で開発した、マルチモーダル大規模言語モデル（MLLM）Cambrian-1です。このモデルの登場は、単なる技術的な飛躍だけでなく、マルチモーダル学習研究への深い省察をもたらします。

北京航空航天大学と南洋理工大学の合同研究チームは、GPT-4oモデルについて徹底的なセキュリティテストを実施しました。1万回以上のAPIクエリを通じて、テキスト、画像、音声の3つのモダリティについてセキュリティ評価を行いました。研究の結果、GPT-4oはテキスト脱獄攻撃に対するセキュリティが向上したものの、新しく導入された音声モダリティにより新たな攻撃対象が追加され、全体的なマルチモーダルセキュリティは前世代モデルのGPT-4Vを下回ることが分かりました。

マイクロソフトは、LLaVAアーキテクチャを継承し、新機能を導入したマルチモーダルモデルLLaVA-1.5をオープンソース化しました。研究者による、ビジュアル質問応答、自然言語処理、画像生成などにおけるテストでは、LLaVA-1.5はオープンソースモデルの中で最高レベルに達していることが示されました。

GPT-4Vの新機能がGitHubトレンドで3000以上のスターを獲得！Web開発者は脅威を感じています。簡単な絵を描いたり、枠で囲むだけで、ボタン付きのWebページを生成できる、迅速で簡単な操作性です。開発者のSawyer Hood氏は、GPT-4V APIを使ってわずか5時間でこの新機能を開発し、2700以上のいいねを獲得しました。オープンソースのホワイトボードtldrawとGPT-4V APIを組み合わせることで、Webページを瞬時に生成できます。中にはDesignerGPTを作成したユーザーもいます。GitHub

新しく提案された画像推論ベンチマークHallusionBenchは、GPT-4Vなどの視覚言語モデルを検証するために使用され、言語的幻覚と視覚的錯覚の問題があることが発見されました。GPT-4Vなどのモデルは、HallusionBenchにおいて、パラメータ化されたメモリの影響を受けやすく、言語的幻覚による誤答率は最大90％に達します。GPT-4Vなどは、HallusionBenchにおいて幾何学的錯覚などの視覚的錯覚を生じやすく、現在の視覚能力はまだ限定的です。簡単な画像操作でGPT-4Vなどのモデルを簡単に誤導することができ、その脆さを反映しています。

浙江大学の卒業生らがマイクロソフトリサーチと共同で、マルチモーダルモデルLLaVAを発表し、GPT-4Vに挑戦しています。LLaVAは11個のテストデータセットで優れた性能を発揮し、6,000以上のスターを獲得しました。モデルの総合的な能力は高く、GPT-4Vを85％上回る性能を示しています。LLaVAのオープンソースコード、モデル、およびトレーニングデータは既に利用可能です。

清華大学と智譜AIが共同開発したCogVLM-17Bは、卓越した性能を持つ国産マルチモーダルモデルです。CogVLM-17Bは、画像内のオブジェクトの認識だけでなく、完全に可視的な物体と部分的に可視的な物体の区別も可能です。このモデルは独自の深層融合手法を採用し、4つの主要コンポーネントを通じて画像特徴とテキスト特徴の深層アライメントを実現しています。CogVLM-17Bは複数の分野でGoogleのモデルを凌駕し、「14角形戦士」と称されるなど、その性能の高さが示されています。