在最近的Gartner IT研讨会上，分析师预测到2027年，生成式人工智能（GenAI）解决方案将实现40%的多模态整合，显著高于2023年的1%。多模态GenAI的整合能捕捉不同数据流之间的关系，并扩展在各类数据和应用中的好处，支持人类在不同环境中的多任务执行。Gartner的报告指出，多模态GenAI和开源大语言模型具有极高影响力，将在未来五年内为企业带来竞争优势和快速市场响应。特定领域的GenAI模型和自主代理有望在未来十年实现主流应用。尽管目前GenAI处于“失望的低谷”，但随着行业整合的开始，多模态GenAI转型将增强企业应用，引入更多新功能。开源大语言模型为企业提供了创新潜力，降低了对特定供应商的依赖。特定领域的GenAI模型针对特定行业或任务进行了优化，能够改善企业内用例的对齐，并提升准确性和安全性。自主代理系统在没有人类干预的情况下实现目标，推动业务运营的改善和客户体验的提升，同时可能改变组织内的工作模式。

由中国人民大学、北京邮电大学和上海AI Lab等机构组成的研究团队开发了一项名为Ref-AVS的技术，旨在解决人工智能理解复杂物理世界的难题。该技术通过独特的多模态融合方法，整合视频对象分割（VOS）、视频对象参考分割(Ref-VOS)和视听分割(AVS)信息，使AI系统能够准确识别并定位视听场景中的特定物体，无论这些物体是否发声。为验证技术的有效性，研究团队构建了包含40,020个视频帧、6,888个物体和20,261个指代表达式的Ref-AVS Bench大规模数据集。Ref-AVS在一系列实验中展现出卓越的性能，特别是在处理未见过的物体和空引用方面表现出色，证明了其强大的分割能力和泛化能力。这一成果已在ECCV2024上展示，并提供了学习和探索资源，为AI领域的未来发展开辟了新道路。

["百度创始人李彦宏强调多模态融合的重要性","百度已在文生视频等领域进行投资","百度投资于AGI发展","百度文心大模型推理成本已降至1%","百度与三星、荣耀等达成合作","荣耀将推出首款小折叠手机","文心一言将在2024年贡献数十亿元的增量收入","百度在文生视频等领域投资","5G-A成世界移动通信大会热点"]