随着人工智能技术的不断进步，用户界面（UI）的理解成为了创建直观且有用的AI应用程序的关键挑战。最近，苹果公司的研究人员在一篇新论文中介绍了UI-JEPA，这是一种旨在实现轻量级设备端UI理解的架构，它不仅保持了高性能，还显著降低了UI理解的计算要求。UI理解的挑战在于需要处理跨模式特征，包括图像和自然语言，以捕捉UI序列中的时间关系。尽管多模态大型语言模型（MLLM）如Anthropic Claude3.5Sonnet和OpenAI GPT-4Turbo在个性化规划方面取得了进展，但这些模型需要大量的计算资源、巨

NVIDIA 联合多所高校推出了 NVEagle，一个能看图聊天的大型视觉语言模型。NVEagle 能解析图片内容并给出准确答案，如识别图片中的人物为黄仁勋。该模型通过将图像转化为视觉标记并与文本嵌入结合，显著提升了对视觉信息的理解能力。面对高分辨率图像处理的挑战，研究团队通过探索不同的视觉编码器和融合策略，构建了包括 Eagle-X5-7B、Eagle-X5-13B 和 Eagle-X5-13B-Chat 在内的三个版本，其中 13B-Chat 特别适用于对话式 AI。NVEagle 采用混合专家机制，根据任务动态选择最佳视觉编码器，提高了对复杂视觉信息的处理能力。在多种基准测试中，NVEagle 的表现均优于其他领先模型，特别是在 OCR、视觉问答和复杂视觉信息处理任务上。