苹果公司最近为其多模态人工智能模型MM1推出了重大更新,将其升级为MM1.5版本。这次升级不仅仅是简单的版本号变更,而是全方位的能力提升,使得模型在各个领域都展现出了更强大的性能。

MM1.5的核心升级在于其创新的数据处理方法。该模型采用了以数据为中心的训练方法,精心筛选和优化了训练数据集。具体而言,MM1.5使用了高清晰度的OCR数据和合成图像描述,以及优化的视觉指令微调数据混合。这些数据的引入使得模型在文字识别、图像理解和执行视觉指令等方面都有了显著提升。

image.png

在模型规模方面,MM1.5涵盖了从10亿到300亿参数不等的多个版本,包括密集型和专家混合(MoE)变体。值得注意的是,即使是较小规模的10亿和30亿参数模型,通过精心设计的数据和训练策略,也能达到令人印象深刻的性能水平。

image.png

MM1.5的能力提升主要体现在以下几个方面:文本密集型图像理解、视觉指代和定位、多图像推理、视频理解以及移动UI理解。这些能力使得MM1.5可以应用于更广泛的场景,如从音乐会照片中识别表演者和乐器、理解图表数据并回答相关问题、在复杂场景中定位特定物体等。

image.png

image.png

为了评估MM1.5的性能,研究人员将其与其他先进的多模态模型进行了对比。结果显示,MM1.5-1B在10亿参数规模的模型中表现出色,明显优于同级别的其他模型。MM1.5-3B的表现超越了MiniCPM-V2.0,并与InternVL2和Phi-3-Vision不相上下。此外,研究还发现,无论是密集型模型还是MoE模型,随着规模的扩大,性能都会显著提升。

MM1.5的成功不仅体现了苹果公司在人工智能领域的研发实力,也为多模态模型的未来发展指明了方向。通过优化数据处理方法和模型架构,即使是较小规模的模型也能实现强大的性能,这对于在资源受限的设备上部署高性能AI模型具有重要意义。

论文地址:https://arxiv.org/pdf/2409.20566