苹果公司最近为其多模态人工智能模型MM1推出了重大更新，将其升级为MM1.5版本。这次升级不仅仅是简单的版本号变更，而是全方位的能力提升，使得模型在各个领域都展现出了更强大的性能。MM1.5的核心升级在于其创新的数据处理方法。该模型采用了以数据为中心的训练方法，精心筛选和优化了训练数据集。具体而言，MM1.5使用了高清晰度的OCR数据和合成图像描述，以及优化的视觉指令微调数据混合。这些数据的引入使得模型在文字识别、图像理解和执行视觉指令等方面都有了显著提升。

近日，一款名为Molmo的开源多模态人工智能模型引起了业界广泛关注。这个由Qwen2-72B为基础、借助OpenAI的CLIP作为视觉处理引擎的AI系统，正以其出色的性能和创新的功能挑战传统商业模型的霸主地位。Molmo的突出特点在于其高效的性能表现。尽管体积相对较小，但它在处理能力上可以与规模大十倍的竞争对手相媲美。这种"小而精"的设计理念不仅提高了模型的效率，也为其在各种应用场景中的部署提供了更大的灵活性。与传统多模态模型相比，Molmo的创新之处在于其引入的指向功能。这一特

"MiniCPM-V2.6"的端侧多模态人工智能模型，它仅有8B参数却取得了20B以下单图、多图、视频理解三项SOTA（State of the Art，即当前最佳水平）成绩，显著提升了端侧AI的多模态能力，与GPT-4V水平全面对标。

近日，一个由中国和新加坡科研人员组成的国际团队成功开发出全球首个面向糖尿病诊疗的多模态人工智能系统DeepDR-LLM。该研究成果于2024年7月19日在《自然医学》（Nature Medicine）上发表。