Cohere 发布了最先进的多模态 AI 搜索模型 Embed3—— 现在支持多模态搜索，这意味着用户不仅可以通过文本，还能通过图像进行企业级的检索。Embed3自去年推出以来，一直在不断优化，帮助企业将文档转化为数字化的表示形式，而这次的升级将让它在图像搜索方面表现更为出色。Cohere 的联合创始人兼首席执行官 Aidan Gonzales 在社交媒体上分享了 Embed3在图像搜索方面的性能提升图表。Cohere 在一篇博客中表示，这一新功能将帮助企业充分挖掘存储在图像中的海量数据，提升工作效率。企业可以

​北京智源人工智能研究院宣布推出原生多模态世界模型Emu3。这一模型基于下一个token预测技术，无需依赖扩散模型或组合方法，就能够完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了现有的知名开源模型，如SDXL、LLaVA、OpenSora等，展现了卓越的性能。

最近，日本东京的初创公司 Rhymes AI 推出了他们的首款人工智能模型 ——Aria。该公司自称，Aria 是全球首个开源的多模态混合专家（MoE）模型。这个模型不仅具有处理多种输入模态的能力，还声称在能力上与一些知名的商业模型不相上下，甚至更胜一筹。Aria 的设计理念是希望能够在文本、代码、图像和视频等多种输入形式上，提供卓越的理解和处理能力。与传统的 Transformer 模型不同，MoE 模型通过多个专业的专家来替代其前馈层。当处理每个输入令牌时，一个路由模块会选择一部分专家进

Meta 公司近日证实，用户使用 Ray-Ban Meta 智能眼镜拍摄的照片和视频可能会被用于训练其 AI 模型。这一做法引发了人们的担忧，因为用户可能并不了解他们正在向 Meta 提供大量图像用于训练其 AI 模型，这些图像可能包含他们的家庭内部、亲人或个人文件等信息。Meta 政策传播经理 Emil Vazquez 表示，在多模态 AI 可用的地区，用户与 Meta AI 共享的图像和视频可能会被用于改进 Meta 的 AI 模型，这符合其隐私政策。然而，这一做法与 Meta 之前的说法相矛盾，之前 Meta 表示，只要用户不将照片和视频

在人工智能的浩瀚海洋中，一艘名为Emu3的创新之船正在破浪前行，为我们展示了多模态AI的无限可能。这个由Meta AI研究团队开发的革命性模型，通过简单而巧妙的"下一步预测"机制，实现了文本、图像和视频的统一处理。Emu3的核心思想是将各种内容转换为离散符号，然后利用单一的Transformer模型来预测下一个符号。这种方法不仅简化了模型架构，还让Emu3在多个领域展现出惊人的能力。从高质量图像生成到准确的图文理解，从连贯的对话响应到流畅的视频创作，Emu3都能轻松应对。在图像生

Salesforce发布了一套名为xGen-MM的开源多模态AI模型，旨在同时理解和生成文本、图像等多种数据类型，显著改变AI研究与应用方式。该模型在多项基准测试中表现出色，与同类开源模型相比性能不俗，包含预训练模型、数据集和微调代码。最大模型拥有40亿个参数，能够处理“交错数据”，实现多任务执行，如同时回答关于多张图像的问题。模型的多样化选择反映了对AI能力与安全伦理平衡的关注。此次开源不仅提供了研究工具，还树立了AI领域透明度的新标杆，可能激励其他科技巨头更开放地分享研究。

国产大模型在人工智能的多模态领域展现出强劲实力，腾讯的hunyuan-vision和上海AI Lab的InternVL2-40B分别在闭源和开源领域领跑，超越国际知名模型。hunyuan-vision作为腾讯混元大模型的多模态版本，在API调用上受到开发者欢迎，并在腾讯元宝APP中免费开放，展现实用易用性。元宝APP在多模态能力评测中国内第一，通过一系列测试展示了其在理解中文语境、处理图像内容及实际应用中的出色表现，如理解梗图表情包、识别照片内容、挑战视觉错觉等。腾讯混元大模型持续迭代，已扩展至万亿参数规模，覆盖文本、多模态理解及生成领域。元宝APP主打实用AI搭子，具备多端同步、聊天记录同步及强大的多模态理解能力，能基于图片内容进行深入分析。未来，腾讯计划进一步提升融合模型的多模态能力，优化用户体验，并在深度搜索和深度长文阅读方面进行功能更新，以简化用户操作。

第二届MER24挑战赛聚焦AI在真实人机交互场景中的情感识别应用，吸引了国际知名学者参与。Soul App的语音技术团队在难度极高的Semi赛道中脱颖而出，荣获第一名。该团队的成功得益于其在多模态数据理解、情感识别算法、模型优化和高效协作等方面的创新。面对数据稀缺挑战，Soul团队采用改进的半监督学习技术、预训练模型和有效的特征融合方法，提高了情感识别准确率，区分了易混淆情感。Soul通过自研AI技术在社交领域实现情感化交互，从“任务执行者”转变为“情感陪伴者”，并在AI社交方向上取得显著成果。未来，Soul等企业将继续推动AI与用户情感化互动体验的创新，形成繁荣内容生态，实现商业价值。

近日，一个由中国和新加坡科研人员组成的国际团队成功开发出全球首个面向糖尿病诊疗的多模态人工智能系统DeepDR-LLM。该研究成果于2024年7月19日在《自然医学》（Nature Medicine）上发表。

Meta周三向Axios发表声明，宣布由于欧盟法规不明确，该公司将不会向欧盟国家的客户发布其新的多模态AI模型或未来版本。这一决定引发了对欧盟AI监管环境的广泛讨论，同时也反映了美国科技巨头在面对全球不同监管要求时的策略调整。

["2023年是人工智能领域长期以来最具颠覆性的一年，大量生成式人工智能产品进入主流。","继续其变革之旅，生成式人工智能有望在2024年从兴奋的话题转变为现实世界的应用。","生成式人工智能领域正在迅速发展，催生了一系列广泛的趋势，这些趋势将促进人工智能在各行各业的采用及其在我们日常生活中的存在。","生成式人工智能模型通过集成多模式多功能性超越了文本创建。"]

["Unified-IO2标志着人工智能领域的重大突破，具有自回归能力，可处理文本、图像、音频和视频等多种数据类型。","创新的单编码器-解码器变压器模型克服了以往模型在多模态数据处理中的限制。","性能超群，在35个数据集上创下GRIT评估的新记录，尤其在图像生成方面超越竞争对手。","Unified-IO2采用复杂而创新的方法，包括共享表示空间、预训练的视觉变压器、音频频谱变压器等。","开发团队的成功经验预示了人工智能未来更为细致和全面的发展，为整合、多才多艺的强大系统奠定了基础。"]

["2023年人工智能领域最重要的三项创新是多模态AI、宪法AI和文本转视频技术。","多模态AI是指AI处理多种不同类型数据的能力，包括文本、图像、视频和音频。","宪法AI致力于使AI符合人类价值观，通过撰写价值观宪法和强化学习方法来控制AI行为。","文本转视频技术是投入数十亿美元资金的重要成果，允许根据文本生成视频并改变视频风格。","这些创新将对AI领域产生重大影响，改变人们对AI的认识和使用方式。"]

["Meta公司最新宣布在Ray-Ban智能眼镜上推出多模态AI功能。","通过眼镜的摄像头和麦克风，实现对用户周围环境的视听感知。","功能包括衣物搭配建议、文本翻译、图像说明等多方面应用。","Beta测试将在美国展开，涵盖照片标注、翻译和摘要等AI功能。"]

["🤩<b>多模态AI进展</b>:AI视频生成工具Pika技术实力处于行业领先水平,多模态AI正走向场景化、实用化、商业化","💡<b>多模态AI市场竞争</b>:Runway、Stability AI、Midjourney等公司也在布局AI视频生成赛道","🔍<b>多模态AI前景</b>:多模态大模型有望打通物理世界和数字世界之间的屏障"]

["AI创企Reka发布多模态AI助手Yasa-1，与OpenAI的ChatGPT展开竞争。","Yasa-1支持20种语言，可处理大量文档和执行代码，速度超越Claude2。","Yasa-1独特之处在于多模态能力，支持文本与多媒体文件结合，执行编程任务。","Reka计划扩大Yasa-1的使用范围，加强功能，标志着多模态AI助手领域竞争愈发激烈。"]

["OpenAI准备推出多模态AI系统GPT-Vision,与谷歌Gemini竞争。","OpenAI正在筹备更强大的多模态模型代号Gobi。","多模态AI进入实质应用阶段,OpenAI与谷歌直接竞争。"]

["1. Hugging Face 推出新开源多模态 AI 模型 IDEFIX。","2. IDEFIX 基于 Flamingo 视觉语言模型构建,支持图像文本输入。","3. IDEFIX 在图像文本理解任务上的表现非常优异。"]