在人工智能领域，阿里通义实验室团队近日宣布开源其最新研发的多模态模型 ——R1-Omni。这一模型结合了强化学习与可验证奖励（RLVR）方法，展现出了在处理音频和视频信息方面的卓越能力。R1-Omni 的亮点在于其透明性，让我们得以更清晰地理解各模态在决策过程中的作用，尤其是在情绪识别等任务中。随着 DeepSeek R1的推出，强化学习在大模型的应用潜力被不断挖掘。RLVR 方法为多模态任务带来了新的优化思路，能够有效处理几何推理、视觉计数等复杂任务。尽管目前的研究多集中于图像

​3月11日，通义实验室团队宣布开源R1-Omni模型，为全模态模型的发展带来了新的突破。该模型结合了强化学习与可验证奖励（RLVR）方法，专注于提升多模态情感识别任务中的推理能力和泛化性能。R1-Omni的训练分为两个阶段。在冷启动阶段，团队使用包含580条视频数据的组合数据集进行微调，这些数据来自Explainable Multimodal Emotion Reasoning（EMER）数据集和HumanOmni数据集。这一阶段旨在为模型奠定基础推理能力，确保其在进入RLVR阶段前具备一定的多模态情感识别能力，从而保障后续训练的平稳性、效率与稳定性。