Salesforce发布了一套名为xGen-MM的开源多模态AI模型，旨在同时理解和生成文本、图像等多种数据类型，显著改变AI研究与应用方式。该模型在多项基准测试中表现出色，与同类开源模型相比性能不俗，包含预训练模型、数据集和微调代码。最大模型拥有40亿个参数，能够处理“交错数据”，实现多任务执行，如同时回答关于多张图像的问题。模型的多样化选择反映了对AI能力与安全伦理平衡的关注。此次开源不仅提供了研究工具，还树立了AI领域透明度的新标杆，可能激励其他科技巨头更开放地分享研究。

国产大模型在人工智能的多模态领域展现出强劲实力，腾讯的hunyuan-vision和上海AI Lab的InternVL2-40B分别在闭源和开源领域领跑，超越国际知名模型。hunyuan-vision作为腾讯混元大模型的多模态版本，在API调用上受到开发者欢迎，并在腾讯元宝APP中免费开放，展现实用易用性。元宝APP在多模态能力评测中国内第一，通过一系列测试展示了其在理解中文语境、处理图像内容及实际应用中的出色表现，如理解梗图表情包、识别照片内容、挑战视觉错觉等。腾讯混元大模型持续迭代，已扩展至万亿参数规模，覆盖文本、多模态理解及生成领域。元宝APP主打实用AI搭子，具备多端同步、聊天记录同步及强大的多模态理解能力，能基于图片内容进行深入分析。未来，腾讯计划进一步提升融合模型的多模态能力，优化用户体验，并在深度搜索和深度长文阅读方面进行功能更新，以简化用户操作。

第二届MER24挑战赛聚焦AI在真实人机交互场景中的情感识别应用，吸引了国际知名学者参与。Soul App的语音技术团队在难度极高的Semi赛道中脱颖而出，荣获第一名。该团队的成功得益于其在多模态数据理解、情感识别算法、模型优化和高效协作等方面的创新。面对数据稀缺挑战，Soul团队采用改进的半监督学习技术、预训练模型和有效的特征融合方法，提高了情感识别准确率，区分了易混淆情感。Soul通过自研AI技术在社交领域实现情感化交互，从“任务执行者”转变为“情感陪伴者”，并在AI社交方向上取得显著成果。未来，Soul等企业将继续推动AI与用户情感化互动体验的创新，形成繁荣内容生态，实现商业价值。

近日，一个由中国和新加坡科研人员组成的国际团队成功开发出全球首个面向糖尿病诊疗的多模态人工智能系统DeepDR-LLM。该研究成果于2024年7月19日在《自然医学》（Nature Medicine）上发表。

Meta周三向Axios发表声明，宣布由于欧盟法规不明确，该公司将不会向欧盟国家的客户发布其新的多模态AI模型或未来版本。这一决定引发了对欧盟AI监管环境的广泛讨论，同时也反映了美国科技巨头在面对全球不同监管要求时的策略调整。

["2023年是人工智能领域长期以来最具颠覆性的一年，大量生成式人工智能产品进入主流。","继续其变革之旅，生成式人工智能有望在2024年从兴奋的话题转变为现实世界的应用。","生成式人工智能领域正在迅速发展，催生了一系列广泛的趋势，这些趋势将促进人工智能在各行各业的采用及其在我们日常生活中的存在。","生成式人工智能模型通过集成多模式多功能性超越了文本创建。"]

["Unified-IO2标志着人工智能领域的重大突破，具有自回归能力，可处理文本、图像、音频和视频等多种数据类型。","创新的单编码器-解码器变压器模型克服了以往模型在多模态数据处理中的限制。","性能超群，在35个数据集上创下GRIT评估的新记录，尤其在图像生成方面超越竞争对手。","Unified-IO2采用复杂而创新的方法，包括共享表示空间、预训练的视觉变压器、音频频谱变压器等。","开发团队的成功经验预示了人工智能未来更为细致和全面的发展，为整合、多才多艺的强大系统奠定了基础。"]

["2023年人工智能领域最重要的三项创新是多模态AI、宪法AI和文本转视频技术。","多模态AI是指AI处理多种不同类型数据的能力，包括文本、图像、视频和音频。","宪法AI致力于使AI符合人类价值观，通过撰写价值观宪法和强化学习方法来控制AI行为。","文本转视频技术是投入数十亿美元资金的重要成果，允许根据文本生成视频并改变视频风格。","这些创新将对AI领域产生重大影响，改变人们对AI的认识和使用方式。"]

["Meta公司最新宣布在Ray-Ban智能眼镜上推出多模态AI功能。","通过眼镜的摄像头和麦克风，实现对用户周围环境的视听感知。","功能包括衣物搭配建议、文本翻译、图像说明等多方面应用。","Beta测试将在美国展开，涵盖照片标注、翻译和摘要等AI功能。"]

["🤩<b>多模态AI进展</b>:AI视频生成工具Pika技术实力处于行业领先水平,多模态AI正走向场景化、实用化、商业化","💡<b>多模态AI市场竞争</b>:Runway、Stability AI、Midjourney等公司也在布局AI视频生成赛道","🔍<b>多模态AI前景</b>:多模态大模型有望打通物理世界和数字世界之间的屏障"]

["AI创企Reka发布多模态AI助手Yasa-1，与OpenAI的ChatGPT展开竞争。","Yasa-1支持20种语言，可处理大量文档和执行代码，速度超越Claude2。","Yasa-1独特之处在于多模态能力，支持文本与多媒体文件结合，执行编程任务。","Reka计划扩大Yasa-1的使用范围，加强功能，标志着多模态AI助手领域竞争愈发激烈。"]

["OpenAI准备推出多模态AI系统GPT-Vision,与谷歌Gemini竞争。","OpenAI正在筹备更强大的多模态模型代号Gobi。","多模态AI进入实质应用阶段,OpenAI与谷歌直接竞争。"]

["1. Hugging Face 推出新开源多模态 AI 模型 IDEFIX。","2. IDEFIX 基于 Flamingo 视觉语言模型构建,支持图像文本输入。","3. IDEFIX 在图像文本理解任务上的表现非常优异。"]