最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型

在人工智能的浩瀚海洋中，一艘名为Emu3的创新之船正在破浪前行，为我们展示了多模态AI的无限可能。这个由Meta AI研究团队开发的革命性模型，通过简单而巧妙的"下一步预测"机制，实现了文本、图像和视频的统一处理。Emu3的核心思想是将各种内容转换为离散符号，然后利用单一的Transformer模型来预测下一个符号。这种方法不仅简化了模型架构，还让Emu3在多个领域展现出惊人的能力。从高质量图像生成到准确的图文理解，从连贯的对话响应到流畅的视频创作，Emu3都能轻松应对。在图像生

近日，一款名为Molmo的开源多模态人工智能模型引起了业界广泛关注。这个由Qwen2-72B为基础、借助OpenAI的CLIP作为视觉处理引擎的AI系统，正以其出色的性能和创新的功能挑战传统商业模型的霸主地位。Molmo的突出特点在于其高效的性能表现。尽管体积相对较小，但它在处理能力上可以与规模大十倍的竞争对手相媲美。这种"小而精"的设计理念不仅提高了模型的效率，也为其在各种应用场景中的部署提供了更大的灵活性。与传统多模态模型相比，Molmo的创新之处在于其引入的指向功能。这一特

2024年9月21日，阿里巴巴在杭州云栖大会上宣布了多项技术创新和业务发展的新动态。其中，魔搭社区正式上线了AIGC专区，旨在为开发者提供一个全面的AI创作和开发平台。该平台目前免费开放所有功能板块及GPU算力，首批上架了157款精选多模态模型，包括社区热门模型和设计师贡献的多种风格化LoRa模型。

​MiniMax稀宇科技近日公布数据称，MiniMax自2021年底成立以来，已经构建了万亿参数的MoE文本大模型、语音大模型及图像大模型，并推出了星野、海螺AI等原生应用，同时为企业和开发者提供开放平台API服务。

面壁小钢炮MiniCPM-V系列的最新版本2.6在GitHub和HuggingFace趋势榜迅速攀升至Top3，星标数量突破万。自2月发布以来，累计下载量超过百万，成为衡量端侧模型能力的标杆。MiniCPM-V2.6以8B参数实现了端侧多模态模型的性能提升，包括实时视频理解、多图联合理解、多图ICL等功能，量化后端侧内存仅6GB，推理速度高达18tokens/s，比上代快33%，支持llama.cpp、ollama、vllm推理，兼容多种语言。此技术突破在全球技术圈引起广泛关注，GitHub和Hugging Face开源地址已公布，附带部署教程链接。

谷歌推出了最新AI力作Gemini1.5Pro，通过Google AI Studio和Gemini API提供实验性版本0801，该模型在LMSYS排行榜上以1300的ELO分数领先于OpenAI的GPT-4o和Anthropic的Claude-3.5Sonnet。Gemini1.5Pro在多语言任务、数学、编码及视觉任务中表现出色，其200万标记的上下文窗口使其能处理大量信息，包括文档、代码及多模态内容。此发布旨在通过社区参与解决潜在问题，推动AI在数据分析、软件开发和客户互动等领域的应用，代表了AI竞赛中的重大进展。

阿里云推出“Qwen-Audio”，一款大型音频语言模型，革新语音交互体验。型号能接收多种音频输入，执行音频分析并直接响应语音指令。用户提供独特的音交互模式，无需文字输入，直接通过语音交流，并在音频中提供声音和文本分析。具备智能理解能力，能够结合多音源指令并解析，如区分单一声音、多声道对话及命令，并协助音频解释和响应。性能超越先前优秀模型，特别是在基于音频的指令跟踪功能与聊天模式上。具备开源特性，促进多模态语言发展。产品将分为Qwen2-Audio和Qwen-Audio-Chat，进一步优化多种音频操作体验。在无需特定任务调整的前提下，模型展示了卓越性能。特别在英文自动语音识别（ASR）与聊天任务上表现出色。强调跨声音、音乐和混合音频集的强大指令跟踪功能，显著优于其他大型语言模型（LALM）与Qwen-Audio。

在AI的璀璨星河中，阶跃星辰公司以其创新的多模态模型，成为引人瞩目的新星。在WAIC盛会上，他们展示了三款独具匠心的AI模型，主打的多模态能力。Step-2:万亿参数的 MoE 模型，目前还需要申请才能体验。

法国独立非盈利AI研究实验室 ​Kyutai 发布了一款语音助理 Moshi，这是一款革命性的实时本机多模态基础模型。这一创新模型在某些功能上模仿并超越了 OpenAI 在五月推出的 GPT-4o 所展示的一些功能。

在AI的世界里，我们刚刚迎来了一个令人瞩目的新成员——Cambrian-1，这是一个由LeCun和谢赛宁等业界大牛联手打造的多模态大型语言模型（MLLM）。这个模型的出现，不仅仅是技术上的一次飞跃，更是对多模态学习研究的一次深刻反思。

日前，Meta 低调的发布了六项研究成果，为 AI 领域带来了新的应用和技术突破。其中包括了多模态模型、文本生成音乐模型、音频水印技术、数据集等多个项目。下面一起来看看这些研究成果具体都是哪些。

Sketchpad 使 LM 能够使用线条、框、标记等进行绘图，这更接近于人类的素描，更方便推理。此外，Sketchpad 还可以在绘图过程中使用专业视觉模型，比如使用对象检测模型绘制边界框，使用分割模型绘制蒙版，以进一步增强视觉感知和推理能力。

["微软开源了多模态模型LLaVA-1.5，继承LLaVA架构并引入新特性。","研究人员对其在视觉问答、自然语言处理、图像生成等进行了测试显示，LLaVA-1.5达到了开源模型中的最高水平，可"]

["上海 AI 实验室与上海交通大学医学院附属瑞金医院等发布了医疗多模态基础模型群 “浦医 2.0”","浦医 2.0 新增多领域模型，语言参数增量，涵盖医学图像、医学文本、生物信息等多个数据模态","新增开源数据集包括医学图像分割数据集 SA-Med2D-20M 和病理数据集 SNOW","浦医 2.0 加入评测模块，提供医疗模型能力参考","实现医疗大模型群的一站式开源，为 AI 在医疗领域的应用提供支持"]

["加州大学圣克鲁斯分校研发 MiniGPT-5 模型，实现了文本和图像的有效对齐。","MiniGPT-5 采用了多模态编码器和 Generative Vokens 技术，生成连贯、高质量的文本和图像。","模型在多个数据集上的测试中表现优于对比基线，展现出强大的适应能力。"]

["浙大校友合作微软研究院推出多模态模型LLaVA，挑战GPT-4V。","LLaVA在11个测试数据集上表现出色，获得6k+星标。","模型综合能力高，超过GPT-4V水平的85%。","LLaVA的开源代码、模型和训练数据已经可供使用。"]

["清华大学与智谱 AI 合作开发的 CogVLM-17B 是一款国产多模态模型，具有卓越的性能。","CogVLM-17B 不仅能识别图像中的对象，还能分辨完整可见和部分可见的物体。","该模型采用了独特的深度融合方法，通过四个关键组件实现了图像特征和文本特征的深度对齐。","CogVLM-17B 在多个领域超越了谷歌的模型，被形象地称为 “14 边形战士”，展现了其多模态处理的出色能力。","这款国产多模态模型为多模态领域的技术研究提供了新的思路和可能性。"]

["OpenAI 正准备推出 GPT-4 的图像理解功能，名为 “GPT-Vision”，与谷歌的 Gemini 竞争。","GPT-Vision 可使 GPT-4 具备更广泛的图像应用能力，生成与图像内容相关的文本。","OpenAI 还在开发名为 “Gobi” 的多模态 AI 模型，有可能成为 GPT-5。","OpenAI 计划在 11 月 6 日举行的开发者大会上宣布 GPT-4 的新功能。","OpenAI 和谷歌的竞争将推动 AI 技术的进步，受益的是消费者。"]