零一万物发布 Yi-VL 多模态语言模型 包括两个版本

零一万物 Yi-VL 多模态语言模型是零一万物 Yi 系列模型家族的新成员，它在图文理解和对话生成方面具备卓越的能力。Yi-VL 模型在英文数据集 MMMU 和中文数据集 CMMMU 上都取得了领先成绩，展示了在复杂跨学科任务上的实力。Yi-VL-34B 在全新多模态基准测试 MMMU 中以 41.6% 的准确率超越其他多模态大模型，展现了强大的跨学科知识理解和应用能力。Yi-VL 模型基于开源 LLaVA 架构，包含 Vision Transformer（ViT）、Projection 模块和大规模语言模型 Yi-34B-Chat 和 Yi-6B-Chat。ViT 用于图像编码，Projection 模块实现了图像特征与文本特征空间对齐的能力，大规模语言模型提供了强大的语言理解和生成能力。