近日，北京大学等科研团队宣布发布了一款名为 LLaVA-o1的多模态开源模型，据称这是首个能够进行自发、系统推理的视觉语言模型，堪比 GPT-o1。该模型在六个具有挑战性的多模态基准测试中表现优异，其11B 参数的版本超越了其他竞争者，如 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct。LLaVA-o1基于 Llama-3.2-Vision 模型，采用了 “慢思考” 推理机制，能够自主进行更加复杂的推理过程，超越了传统的思维链提示方法。在多模态推理基准测试中，LLaVA-o1的表现超出了其基础模型8.9%。该模型的

PaddleMIX2.0是百度推出的多模态大模型开发套件，旨在简化多模态应用开发，支持自动驾驶、智慧医疗、搜索引擎等场景。其关键亮点包括： 1. **丰富的模型库**：涵盖图像、文本、视频、音频，新增LLaVA系列模型，提供前沿技术支持。 2. **全流程开发体验**：配备DataCopilot和Auto模块，简化多模态模型训练流程。 3. **高性能训练能力**：DiT模型支持3B规模预训练，采用MixToken策略提升训练吞吐量。 4. **应用构建工具**：AppFlow和ComfyUI简化多模态应用构建和AIGC任务操作。 5. **性能提升**：在大规模预训练、高效精调和高性能推理方面均有显著优化。 PaddleMIX2.0的发布旨在降低开发门槛，推动AI应用创新，通过开源项目促进社区发展。

["微软开源了多模态模型LLaVA-1.5，继承LLaVA架构并引入新特性。","研究人员对其在视觉问答、自然语言处理、图像生成等进行了测试显示，LLaVA-1.5达到了开源模型中的最高水平，可"]

["💡<b>开源大模型的发展趋势</b>:LLaVA 1.5这类开源模型正在快速发展,有望成为GPT-4 Vision等商业闭源模型的有力竞争对手。","🔥<b>LLaVA 1.5的技术亮点</b>:整合CLIP图像编码器、LLaMA语言模型和MLP连接器,只需600k训练样本和1天时间就取得非常好的多模态基准测试结果。","📈<b>LLaVA 1.5的效率优势</b>:相比其他开源大模型,它的计算效率更高,资源消耗更低,训练难度也较小。"]

["浙大校友合作微软研究院推出多模态模型LLaVA，挑战GPT-4V。","LLaVA在11个测试数据集上表现出色，获得6k+星标。","模型综合能力高，超过GPT-4V水平的85%。","LLaVA的开源代码、模型和训练数据已经可供使用。"]