マイクロソフトは最近、ユーザーインターフェース（UI）のスクリーンショットを構造化形式に変換することを目的とした新しい解析ツール、OmniParser V2.0を発表しました。OmniParserは、大規模言語モデル（LLM）ベースのUIエージェントのパフォーマンスを向上させ、ユーザーが画面上の情報をより良く理解し操作するのに役立ちます。このツールのトレーニングデータセットには、インタラクティブアイコン検出データセットが含まれており、このデータセットは人気のあるWebサイトから厳選され、自動的にアノテーションが付けられて、クリック可能および操作可能な領域が強調表示されています。さらに、

マイクロソフトが最近リリースしたスクリーンコンテンツ解析ツールOmniParserが、今週、人工知能技術のオープンソースプラットフォームHugging Faceで最も人気のあるモデルのトップに躍り出ました。Hugging Faceの共同創設者兼CEOであるClem Delangue氏によると、これは同分野初の快挙となる解析ツールです。OmniParserは主にスクリーンショットを構造化データに変換するために使用され、他のシステムがグラフィカルユーザーインターフェースをより適切に理解および処理するのに役立ちます。このツールは、複数のモデルを連携して動作させる方式を採用しています。

「画像を見て話す」神器として知られるGPT-4Vを覚えていますか？画像は理解し、画像に基づいてタスクを実行できる、まさに怠け者のための福音です！しかし、致命的な弱点がありました。視力が悪いのです！GPT-4Vにボタンをクリックしてもらおうとすると、まるで「画面盲」のようにあちこちクリックしてしまい、イライラした経験はありませんか？今回ご紹介するのは、GPT-4Vの視力を向上させる神器、OmniParserです！これはマイクロソフトが発表した新しいモデルで、グラフィカルユーザーインターフェース（GUI）の自動操作における課題解決を目指しています。