Meta AI近日重磅开源了名为SPIRIT LM的基础多模态语言模型，该模型能够自由混合文本和语音，为音频和文本的多模态任务打开了新的可能性。SPIRIT LM基于一个70亿参数的预训练文本语言模型，通过在文本和语音单元上进行持续训练，扩展到语音模态。它可以像文本大模型一样理解和生成文本，同时还能理解和生成语音，甚至可以把文本和语音混合在一起，创造出各种神奇的效果! 比如，你可以用它来做语音识别，把语音转换成文字;也可以用它来做语音合成，把文字转换成语音;还可以用它来做

在今年的三星开发者大会上，三星正式发布了全新 Gauss2AI 模型，标志着其在人工智能领域的又一次重大进步。Gauss2在性能和效率上全面升级，应用范围从智能手机到家用电器，覆盖了多种智能设备。Gauss2具备多模态能力，可以同时处理图像、文本和代码，使人工智能更好地融入各类设备生态中。三星为其开发了三种版本，分别为 Compact、Balanced 和 Supreme，以满足不同使用场景:Compact 模型:可在离线设备上运行，适合无网络环境的应用。Balanced 模型:在需要时使用在线资源，兼顾性能与效率。S

人工智能正在悄然改变心理健康领域的诊断方式。来自考纳斯理工大学的研究团队开发出一种revolutionary的抑郁症诊断模型，通过语音和脑电图数据的多模态分析，为精准识别心理健康问题开辟了全新路径。这项研究的核心在于打破传统单一数据诊断的局限。研究团队选择语音作为关键数据源，因为它能微妙地反映情绪状态。语速、语调、情感能量都可能成为抑郁症的潜在信号。图源备注：图片由AI生成，图片授权服务商Midjourney通过将脑电图和语音数据转化为可视化的光谱图，研究团队使用

近日，北京大学等科研团队宣布发布了一款名为 LLaVA-o1的多模态开源模型，据称这是首个能够进行自发、系统推理的视觉语言模型，堪比 GPT-o1。该模型在六个具有挑战性的多模态基准测试中表现优异，其11B 参数的版本超越了其他竞争者，如 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct。LLaVA-o1基于 Llama-3.2-Vision 模型，采用了 “慢思考” 推理机制，能够自主进行更加复杂的推理过程，超越了传统的思维链提示方法。在多模态推理基准测试中，LLaVA-o1的表现超出了其基础模型8.9%。该模型的

法国人工智能初创公司 Mistral AI 宣布为其 Le Chat AI 助手添加了一系列新功能，包括集成的网络搜索、图像生成以及新推出的 Pixtral Large 模型。Le Chat 功能升级用户现在可以通过 Le Chat 直接访问实时网页内容，轻松获取所需的信息。同时，借助 Black Forest Labs 的 Flux Pro 模型，用户还能生成高质量的图像，满足多种创作需求。除了网络搜索和图像生成，Le Chat 还引入了一个画布界面，让用户可以在聊天窗口内直接编辑生成的内容。这一功能使得用户能够编写文档、创建演示文稿以及编辑代码，而

​科大讯飞公司近日宣布，其最新研发的讯飞星火多模态交互大模型正式投入运营。这一技术突破标志着科大讯飞从单一的语音交互技术拓展到音视频流实时多模态交互的新阶段。新模型集成了语音、视觉和数字人交互功能，用户可通过一键调用，实现三者的无缝结合。

在人工智能的应用中，如何实现与 AI 的实时互动一直是开发者和研究人员面临的重大挑战。这其中，整合多模态信息（如文本、图像和音频）以形成一个连贯的对话系统显得尤为复杂。尽管像 GPT-4这样的先进大型语言模型取得了一些进展，但许多 AI 系统在实现实时对话流畅性、上下文意识以及多模态理解方面仍然存在困难，这限制了它们在实际应用中的效果。此外，这些模型的计算需求也使得在没有大量基础设施支持的情况下实现实时部署变得极为困难。为了解决这些问题，Fixie AI 推出

在11月12日的百度世界现场，李彦宏展示了全新的工具类智能体，即百度文库和百度网盘联合开发的“自由画布”。自由画布是一个由文心多模态大模型加持的万能白板，可以帮助用户完成从找资料，到编辑、生成和分享的全部任务。自由画布让用户可以在一块类似“画布”的界面上自由拖拽文档、音视频等富媒体素材，迅速生成多模态内容。李彦宏表示，“这不是期货，而是立即可用的现货，是真正服务于创造的新质生产力!”

近日，来自多家中国科研机构的研究团队重磅发布了名为Infinity-MM的超大规模多模态数据集，并基于该数据集训练出了一个性能卓越的AI模型Aquila-VL-2B。这一突破为多模态AI发展注入了新动力。Infinity-MM数据集规模惊人，共包含四大类数据:1000万条图像描述、2440万条通用视觉指令数据、600万条精选高质量指令数据，以及300万条由GPT-4等AI模型生成的数据。研究团队采用开源AI模型RAM++进行图像分析和信息提取，并通过独特的六大类分类系统确保生成数据的质量和多样性。图源备注：图片由AI生成

近日，来自多家中国机构的研究团队成功创建了 “Infinity-MM” 数据集，这是目前最大规模的公开多模态 AI 数据集之一，同时训练出了一款性能卓越的小型新模型 ——Aquila-VL-2B。该数据集主要包含四大类数据:1000万条图像描述、2440万条一般视觉指令数据、600万条精选高质量指令数据，以及300万条由 GPT-4和其他 AI 模型生成的数据。在生成方面，研究团队利用现有的开源 AI 模型。首先，RAM++ 模型分析图像并提取重要信息，随后生成相关问题和答案。此外，团队还构建了一种特殊的分类系统，

10 月 31 日讯 字节跳动悄然上线了一款名为"炉米Lumi"的AI模型分享社区平台。据悉，该平台将提供模型上传分享、Workflow搭建以及LoRA训练等功能，目前仍处于内测阶段，仅向白名单用户开放。

北京爱诗科技有限公司宣布，其最新版本的视频生成大模型PixVerse V3已全球同步公开上线。该版本在底层模型能力上实现了显著提升，提供了包括创意模板、口型匹配、故事续写和风格转换在内的多模态生成能力和丰富的AI玩法。

当前，多模态大型语言模型（MLLM）在视频理解领域取得了显著进展，但处理超长视频仍然是一个挑战。 这是因为，MLLM 通常难以处理超过最大上下文长度的数千个视觉标记，并且会受到标记聚合导致的信息衰减的影响。 同时，大量的视频标记也会带来高昂的计算成本。为了解决这些问题，智源研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等多所高校提出了 Video-XL，这是一种专为高效的小时级视频理解而设计的超长视觉语言模型。 Video-XL 的核心在于“视觉上下文潜在

马斯克旗下xAI公司近日为其AI模型Grok增添了图像理解功能，X平台付费用户现可向AI助手上传图片并进行相关提问。这项更新已经由xAI员工和Grok官方发言人在X平台正式确认。马斯克在平台上展示了Grok的新能力，称其不仅能理解图片内容，还能解读图片中蕴含的幽默元素。不过他也坦言，目前这项功能仍处于早期阶段，团队将持续改进完善。值得注意的是，自今年8月面向高级用户推出Grok-2模型以来，xAI一直在积极扩展其功能范畴。通过与黑森林实验室（Black Forest Labs）的FLUX.1模型合作，Grok已

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

最近，Meta AI 团队带来了 LongVU，这是一种新颖的时空自适应压缩机制，旨在提升长视频的语言理解能力。传统的多模态大型语言模型（MLLMs）在处理长视频时面临着上下文长度的限制，而 LongVU 正是为了解决这一难题而诞生。LongVU 的工作原理主要通过过滤重复帧、跨帧token压缩等方法来高效使用上下文长度，能够在保持视频视觉细节的同时减少视频中的冗余信息。具体来说，团队使用 DINOv2的特征来剔除那些高度相似的冗余帧。接着，通过文本引导的跨模态查询，实现了选择性地减少帧特征

最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能

Cohere 发布了最先进的多模态 AI 搜索模型 Embed3—— 现在支持多模态搜索，这意味着用户不仅可以通过文本，还能通过图像进行企业级的检索。Embed3自去年推出以来，一直在不断优化，帮助企业将文档转化为数字化的表示形式，而这次的升级将让它在图像搜索方面表现更为出色。Cohere 的联合创始人兼首席执行官 Aidan Gonzales 在社交媒体上分享了 Embed3在图像搜索方面的性能提升图表。Cohere 在一篇博客中表示，这一新功能将帮助企业充分挖掘存储在图像中的海量数据，提升工作效率。企业可以

智源研究院正式发布了他们的新一代多模态世界模型 Emu3，该模型的最大亮点在于，它仅依靠下一个 token 的预测能力，就能在文本、图像和视频这三种不同模态中进行理解和生成。在图像生成方面，Emu3能够根据视觉 token 预测生成高质量的图像。这意味着用户可以期待灵活的分辨率和多样的风格。而在视频生成方面，Emu3则是以一种全新的方式工作，不同于其他模型通过噪声生成视频，Emu3通过顺序预测直接生成视频。这种技术的进步使得视频生成变得更加流畅自然。在图像生成、视频生成和

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型