清華大学や浙江大学などの名門大学が、GPT-4Vのオープンソース代替策を推進し、中国では数々の高性能なオープンソースビジョンモデルが登場しました。その中でも、LLaVA、CogAgent、BakLLaVAが注目を集めています。
LLaVAは、ビジュアルチャットや推論型質問応答において、GPT-4に匹敵する能力を示しています。一方、CogAgentはCogVLMを改良したオープンソースのビジョン言語モデルです。さらに、BakLLaVAはLLaVA1.5アーキテクチャで強化されたMistral7Bベースモデルであり、より優れた性能と商用可能性を備えています。
これらのオープンソースビジョンモデルは、画像処理分野において計り知れない可能性を秘めています。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
先日、マイクロソフトリサーチはワシントン大学、スタンフォード大学、南カリフォルニア大学、カリフォルニア大学デービス校、カリフォルニア大学サンフランシスコ校の研究者らと共同で、LLaVA-Radを発表しました。これは、臨床放射線医学レポート作成の効率向上を目指した、新しい小型マルチモーダルモデル（SMM）です。このモデルの発表は、医学画像処理技術の大きな進歩を示すだけでなく、放射線医学の臨床応用にも新たな可能性をもたらします。バイオメディカル分野では、大規模基礎モデルに基づいた研究が進展しています。
北京智譜華章科技有限公司は先日、同社の智譜GLM-PCエージェントがアップグレードされ、一般公開されたことを発表しました。世界初のコンピューターを自律操作できるマルチモーダルエージェントであるGLM-PCは、智譜のマルチモーダル大規模モデルCogAgentを基盤としています。ユーザーは簡単なEnter操作で、この革新的なコンピューターインテリジェントアシスタントを体験できます。2024年11月29日のGLM-PC v1.0リリース以来、クローズドβテストが行われてきました。このバージョンでは、
2025年1月23日、一般公開された世界初の、Enterキーを押すだけで利用可能なコンピューターインテリジェンスGLM-PCが再びアップデートされ、大きな注目を集めています。GLM-PCは智譜のマルチモーダル大規模モデルCogAgentをベースとし、人間のようにコンピューターを「観察」し「操作」することで、ユーザーが様々なコンピュータータスクを効率的に完了する支援を行います。
智譜AIのGLM-PC基盤モデルCogAgent-9Bがオープンソースとして公開されました。これは大規模モデルAgentエコシステムの発展を促進することを目的としています。CogAgent-9BはGLM-4V-9Bを基に訓練された専用Agentタスクモデルであり、スクリーンショットのみを入力として、ユーザーが指定した任意のタスクと過去の操作を組み合わせ、次のGUI操作を予測できます。このモデルの汎用性により、パーソナルコンピュータ、スマートフォン、カーナビゲーションデバイスなど、GUIインタラクションをベースとする様々なシーンで広く活用できます。
北京大学などの研究チームが、LLaVA-o1というマルチモーダルなオープンソースモデルを発表しました。これは、自発的かつ体系的な推論を行うことができる、最初のビジョン言語モデルであるとされています。GPT-o1に匹敵する性能です。このモデルは、6つの難易度が高いマルチモーダルベンチマークテストで優れた性能を示し、110億パラメーターのバージョンでは、Gemini-1.5-pro、GPT-4o-mini、Llama-3.2-90B-Vision-Instructなどの競合他社を凌駕しました。
「画像を見て話す」神器として知られるGPT-4Vを覚えていますか？画像は理解し、画像に基づいてタスクを実行できる、まさに怠け者のための福音です！しかし、致命的な弱点がありました。視力が悪いのです！GPT-4Vにボタンをクリックしてもらおうとすると、まるで「画面盲」のようにあちこちクリックしてしまい、イライラした経験はありませんか？今回ご紹介するのは、GPT-4Vの視力を向上させる神器、OmniParserです！これはマイクロソフトが発表した新しいモデルで、グラフィカルユーザーインターフェース（GUI）の自動操作における課題解決を目指しています。
【AI日報】へようこそ！ここでは、AIの世界を探求するための毎日のガイドを提供します。毎日、AI分野のホットなトピックを紹介し、開発者に焦点を当て、技術トレンドの洞察と革新的なAI製品の応用に関する知識を提供します。最新のAI製品はこちらをご覧ください：https://top.aibase.com/1、開発者にとって朗報！AIの能力には問題がありますが、解決可能です。開発スタック全体でより多くの作業が必要であり、「ギザギザの縁」に注意し、人間の関与を維持する必要があります。
MiniCPM-V2.6は、わずか8Bパラメータながら、20B以下のシングル画像、マルチ画像、ビデオ理解の3つのタスクでSOTA（State of the Art、最先端）を達成した端側AIマルチモーダルモデルです。端側AIのマルチモーダル能力を大幅に向上させ、GPT-4Vと全面的に匹敵するレベルに達しています。
PaddleMIX 2.0は、百度が発表した多モーダル大規模モデル開発キットであり、多モーダルアプリケーション開発の簡素化を目指し、自動運転、スマート医療、検索エンジンなどのシナリオをサポートします。主な特長は以下のとおりです。1. **豊富なモデルライブラリ**: 画像、テキスト、ビデオ、音声に対応し、LLaVAシリーズモデルを追加、最先端技術をサポートします。2. **フルプロセス開発体験**: DataCopilotとAutoモジュールを搭載し、多モーダルモデルのトレーニングプロセスを簡素化します。3. **高性能トレーニング能力**