最近，苹果 AI 研究团队推出了他们的新一代多模态大语言模型（MLLMs）家族 ——MM1.5。这一系列模型能够结合文本、图像等多种数据类型，向我们展示了 AI 在理解复杂任务方面的新能力。像视觉问答、图像生成和多模态数据解读这样的任务，都能在这些模型的帮助下得到更好的解决。多模态模型的一个大挑战，就是如何在不同数据类型之间实现有效的交互。过去的模型常常在处理文本丰富的图像或者细粒度视觉任务时遇到困难。因此，苹果的研究团队在 MM1.5模型中引入了创新的数据中心化

腾讯优图实验室等机构发布首个开源多模态大语言模型VITA，旨在填补大型语言模型在处理中文方言的空白。VITA基于Mixtral8×7B模型，扩展了中文词汇量，进行双语指令微调，精通英语与中文。其关键特点包括： 1. **多模态理解**：VITA能处理视频、图像、文本和音频，为开源模型中前所未见。 2. **自然交互**：无需特定唤醒词，可即时响应，保持礼貌不干扰。 3. **开源先锋**：推动多模态理解和交互领域的研究进展。 VITA通过双重模型部署实现精准、及时的交互，不仅能聊天，还能作为健身伙伴、旅游顾问，根据输入内容回答问题。在情感语音合成和多模态支持上，VITA正持续优化，目标是生成高质量音频和视频内容。VITA的开源发布，标志着智能交互方式的革新，未来将提供更智能、更人性化的体验。