最近、GitHubでVimGPTという新しいツールが人気を集めています。これはGPT-4VとVimiumを組み合わせたツールで、インターネットの閲覧効率を大幅に向上させます。
このツールの登場により、ユーザーの情報処理効率は格段に向上しました。しかし、最近の研究によると、GPT-4Vのエラー率はなんと90％にも上ることが判明し、懸念材料となっています。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
「画像を見て話す」神器として知られるGPT-4Vを覚えていますか？画像は理解し、画像に基づいてタスクを実行できる、まさに怠け者のための福音です！しかし、致命的な弱点がありました。視力が悪いのです！GPT-4Vにボタンをクリックしてもらおうとすると、まるで「画面盲」のようにあちこちクリックしてしまい、イライラした経験はありませんか？今回ご紹介するのは、GPT-4Vの視力を向上させる神器、OmniParserです！これはマイクロソフトが発表した新しいモデルで、グラフィカルユーザーインターフェース（GUI）の自動操作における課題解決を目指しています。
【AI日報】へようこそ！ここでは、AIの世界を探求するための毎日のガイドを提供します。毎日、AI分野のホットなトピックを紹介し、開発者に焦点を当て、技術トレンドの洞察と革新的なAI製品の応用に関する知識を提供します。最新のAI製品はこちらをご覧ください：https://top.aibase.com/1、開発者にとって朗報！AIの能力には問題がありますが、解決可能です。開発スタック全体でより多くの作業が必要であり、「ギザギザの縁」に注意し、人間の関与を維持する必要があります。
MiniCPM-V2.6は、わずか8Bパラメータながら、20B以下のシングル画像、マルチ画像、ビデオ理解の3つのタスクでSOTA（State of the Art、最先端）を達成した端側AIマルチモーダルモデルです。端側AIのマルチモーダル能力を大幅に向上させ、GPT-4Vと全面的に匹敵するレベルに達しています。
書生・浦語霊筆（InternLM-XComposer）2.5バージョンは、上海人工知能研究所によって開発され、長いコンテキストの入出力能力を特長としています。96Kの長さでスムーズに動作し、24Kのインターリーブされた画像テキストデータでトレーニングされています。主なアップグレードポイントには、高解像度画像の理解、詳細なビデオの理解、複数ラウンドの複数画像の対話などが含まれます。応用として、Webページの作成、高品質な画像付き記事の作成などが可能です。評価によると、16個のベンチマークテストでオープンソースの最先端モデルを上回り、重要なタスクではGPT-4V、Gemと肩を並べます。
最近、Home AssistantというユーザーがGPT-4Visionを自宅のカメラに接続するという大胆な実験を行いました。AIによる24時間監視の様子を公開した動画はXで100万回以上再生されました！
AIの世界に、注目すべき新メンバーが登場しました。LeCun氏とXie Saining氏ら業界の重鎮が共同で開発した、マルチモーダル大規模言語モデル（MLLM）Cambrian-1です。このモデルの登場は、単なる技術的な飛躍だけでなく、マルチモーダル学習研究への深い省察をもたらします。
北京航空航天大学と南洋理工大学の合同研究チームは、GPT-4oモデルについて徹底的なセキュリティテストを実施しました。1万回以上のAPIクエリを通じて、テキスト、画像、音声の3つのモダリティについてセキュリティ評価を行いました。研究の結果、GPT-4oはテキスト脱獄攻撃に対するセキュリティが向上したものの、新しく導入された音声モダリティにより新たな攻撃対象が追加され、全体的なマルチモーダルセキュリティは前世代モデルのGPT-4Vを下回ることが分かりました。
零一万物APIが開発者に正式に公開されました。Yi-34B-Chat-0205などのモデルを含み、一般的なチャット、Q&A、対話、ライティング、翻訳をサポートします。Yi-VL-Plus多モーダルモデルはGPT-4Vを上回り、中国語チャートの体験において優れた性能を発揮し、チャート認識、情報抽出、Q&A、推論をサポートします。Yi-34B-Chat-200Kモデルも公開され、正確性99.8％を達成。長文理解、小説内容要約、論文の要点抽出などに利用できます。零一万物APIの公開により、促進されるでしょう。
マイクロソフトが、新しいテキストツーイメージ生成手法を発表。複数の低ランク適応技術(LoRA)を用いて、高度にパーソナライズされ、細部まで豊かな画像を生成します。この手法は、LoRAの訓練なしに複数のLoRAを統合でき、既存技術よりも優れた性能を示します。ComposLoRAというテストプラットフォームも公開されました。GPT-4Vを評価ツールとして用い、既存技術を上回る性能が確認され、画像生成技術に新たな視点とツールを提供します。SegMoEモデルは新しい混合手法を提供し、MITの実験では純粋なテキストモデルによる視覚概念の学習可能性を示しています。GoogleはRLHF手法を発表。米国プリン...
マイクロソフトは、LLaVAアーキテクチャを継承し、新機能を導入したマルチモーダルモデルLLaVA-1.5をオープンソース化しました。研究者による、ビジュアル質問応答、自然言語処理、画像生成などにおけるテストでは、LLaVA-1.5はオープンソースモデルの中で最高レベルに達していることが示されました。