スマホ、タブレット、パソコン、テレビ…画面が増え、操作が複雑化する現代。混乱していませんか？アップルが最近発表した大ニュース、それが超強力なUI理解モデル「Ferret-UI2」です！あらゆるプラットフォームでユーザーインターフェースを理解することを目指す、まさに万能選手。iPhone、Android、iPad、Web、AppleTV…どんなデバイスにも対応します。Ferret-U

アップル社は先日、次世代人工知能システムFerret-UI2を発表しました。このクロスプラットフォームAIアシスタントは、UI要素認識において大きな進歩を遂げ、テストスコアは89.73点を記録し、GPT-4Vの77.73点を大きく上回りました。これは卓越した性能を示しています。このシステム最大の特長は、ユーザーの意図をスマートに理解する能力です。従来の座標クリックベースの操作方法とは異なり、Ferret-UI2はユーザーの自然言語指示に基づいて、自動的に位置を特定し、対応する操作を実行します。研究チームはG…

アップルとコーネル大学は、オープンソースのマルチモーダル機械学習モデルFerretを発表しました。Ferretは、画像内の任意の位置、任意の精度、任意の形状の領域を基準にして位置を特定できるシステムです。Ferretは画像内の要素を認識し、クエリの一部として応答することができます。このオープンソース化は、アップルが影響力のあるAI研究へのコミットメントを示すものであり、AIの取り組みにおいてよりオープンな協業を進める意思を示しています。

アップルとコロンビア大学の研究者らが、高度な画像理解と記述を目的としたFerret多様な言語モデルを共同開発しました。Ferretモデルは強力なグローバルな理解能力を備え、自由テキストと参照領域を処理でき、従来のモデルを上回る性能を示します。研究者らは、110万サンプルを含むGRITデータセットを作成し、モデルの参照と位置特定タスクを指導しました。Ferret-Benchによる評価では、Ferretの性能は最高のMLLMモデルを平均20.4%上回り、オブジェクトの...