Xiaomiは先日、喜ばしいニュースを発表しました。Xiaomiの大規模言語モデルチームの2つの論文が、2025年北米計算言語学会（NAACL）会議に採択され、主要な口頭発表論文として掲載されることが決定しました。この成果は、Xiaomiの人工知能分野における深い蓄積と、技術応用の急速な発展を示しています。これらの2つの論文は、それぞれグラフィカルユーザーインターフェース（GUI）エージェントと機械翻訳に焦点を当てています。XiaomiのGUIエージェントに関する研究では、携帯電話の制御タスクを、ページ到達とページ操作という2つのサブタスクに細分化しています。

専門環境において、グラフィカルユーザーインターフェース（GUI）エージェントは3つの主要な課題に直面しています。まず、専門アプリケーションは一般ソフトウェアよりもはるかに複雑で、複雑なレイアウトに対する深い理解が求められます。次に、専門ツールは通常、より高い解像度を持ち、ターゲットサイズが小さくなるため、位置特定の精度が低下します。最後に、ワークフローは多くの場合、追加のツールやドキュメントに依存しており、操作の複雑さを増しています。これらの課題は、これらの厳しい状況におけるGUIエージェントのパフォーマンスを向上させるための、より高度なベンチマークとソリューションを開発する必要性を浮き彫りにしています。現在

Anthropicが10月にClaudeの「コンピューター使用」機能を発表して以来、このAIエージェントの能力は大きな注目を集めています。この機能により、Claudeは人間と同じグラフィカルユーザーインターフェース（GUI）を介してインタラクトできる最初の最先端モデルとなりました。デスクトップスクリーンショットにアクセスし、キーボードとマウス操作によってタスクを実行することで、ユーザーはAPIインターフェースを必要とせずに操作を自動化できる便利な方法が提供されます。シンガポールの研究によって...

「画像を見て話す」神器として知られるGPT-4Vを覚えていますか？画像は理解し、画像に基づいてタスクを実行できる、まさに怠け者のための福音です！しかし、致命的な弱点がありました。視力が悪いのです！GPT-4Vにボタンをクリックしてもらおうとすると、まるで「画面盲」のようにあちこちクリックしてしまい、イライラした経験はありませんか？今回ご紹介するのは、GPT-4Vの視力を向上させる神器、OmniParserです！これはマイクロソフトが発表した新しいモデルで、グラフィカルユーザーインターフェース（GUI）の自動操作における課題解決を目指しています。