​MiniMax稀宇科技近日公布数据称，MiniMax自2021年底成立以来，已经构建了万亿参数的MoE文本大模型、语音大模型及图像大模型，并推出了星野、海螺AI等原生应用，同时为企业和开发者提供开放平台API服务。

面壁小钢炮MiniCPM-V系列的最新版本2.6在GitHub和HuggingFace趋势榜迅速攀升至Top3，星标数量突破万。自2月发布以来，累计下载量超过百万，成为衡量端侧模型能力的标杆。MiniCPM-V2.6以8B参数实现了端侧多模态模型的性能提升，包括实时视频理解、多图联合理解、多图ICL等功能，量化后端侧内存仅6GB，推理速度高达18tokens/s，比上代快33%，支持llama.cpp、ollama、vllm推理，兼容多种语言。此技术突破在全球技术圈引起广泛关注，GitHub和Hugging Face开源地址已公布，附带部署教程链接。

谷歌推出了最新AI力作Gemini1.5Pro，通过Google AI Studio和Gemini API提供实验性版本0801，该模型在LMSYS排行榜上以1300的ELO分数领先于OpenAI的GPT-4o和Anthropic的Claude-3.5Sonnet。Gemini1.5Pro在多语言任务、数学、编码及视觉任务中表现出色，其200万标记的上下文窗口使其能处理大量信息，包括文档、代码及多模态内容。此发布旨在通过社区参与解决潜在问题，推动AI在数据分析、软件开发和客户互动等领域的应用，代表了AI竞赛中的重大进展。

阿里云推出“Qwen-Audio”，一款大型音频语言模型，革新语音交互体验。型号能接收多种音频输入，执行音频分析并直接响应语音指令。用户提供独特的音交互模式，无需文字输入，直接通过语音交流，并在音频中提供声音和文本分析。具备智能理解能力，能够结合多音源指令并解析，如区分单一声音、多声道对话及命令，并协助音频解释和响应。性能超越先前优秀模型，特别是在基于音频的指令跟踪功能与聊天模式上。具备开源特性，促进多模态语言发展。产品将分为Qwen2-Audio和Qwen-Audio-Chat，进一步优化多种音频操作体验。在无需特定任务调整的前提下，模型展示了卓越性能。特别在英文自动语音识别（ASR）与聊天任务上表现出色。强调跨声音、音乐和混合音频集的强大指令跟踪功能，显著优于其他大型语言模型（LALM）与Qwen-Audio。

在AI的璀璨星河中，阶跃星辰公司以其创新的多模态模型，成为引人瞩目的新星。在WAIC盛会上，他们展示了三款独具匠心的AI模型，主打的多模态能力。Step-2:万亿参数的 MoE 模型，目前还需要申请才能体验。

法国独立非盈利AI研究实验室 ​Kyutai 发布了一款语音助理 Moshi，这是一款革命性的实时本机多模态基础模型。这一创新模型在某些功能上模仿并超越了 OpenAI 在五月推出的 GPT-4o 所展示的一些功能。

在AI的世界里，我们刚刚迎来了一个令人瞩目的新成员——Cambrian-1，这是一个由LeCun和谢赛宁等业界大牛联手打造的多模态大型语言模型（MLLM）。这个模型的出现，不仅仅是技术上的一次飞跃，更是对多模态学习研究的一次深刻反思。

日前，Meta 低调的发布了六项研究成果，为 AI 领域带来了新的应用和技术突破。其中包括了多模态模型、文本生成音乐模型、音频水印技术、数据集等多个项目。下面一起来看看这些研究成果具体都是哪些。

Sketchpad 使 LM 能够使用线条、框、标记等进行绘图，这更接近于人类的素描，更方便推理。此外，Sketchpad 还可以在绘图过程中使用专业视觉模型，比如使用对象检测模型绘制边界框，使用分割模型绘制蒙版，以进一步增强视觉感知和推理能力。

["微软开源了多模态模型LLaVA-1.5，继承LLaVA架构并引入新特性。","研究人员对其在视觉问答、自然语言处理、图像生成等进行了测试显示，LLaVA-1.5达到了开源模型中的最高水平，可"]

["上海 AI 实验室与上海交通大学医学院附属瑞金医院等发布了医疗多模态基础模型群 “浦医 2.0”","浦医 2.0 新增多领域模型，语言参数增量，涵盖医学图像、医学文本、生物信息等多个数据模态","新增开源数据集包括医学图像分割数据集 SA-Med2D-20M 和病理数据集 SNOW","浦医 2.0 加入评测模块，提供医疗模型能力参考","实现医疗大模型群的一站式开源，为 AI 在医疗领域的应用提供支持"]

["加州大学圣克鲁斯分校研发 MiniGPT-5 模型，实现了文本和图像的有效对齐。","MiniGPT-5 采用了多模态编码器和 Generative Vokens 技术，生成连贯、高质量的文本和图像。","模型在多个数据集上的测试中表现优于对比基线，展现出强大的适应能力。"]

["浙大校友合作微软研究院推出多模态模型LLaVA，挑战GPT-4V。","LLaVA在11个测试数据集上表现出色，获得6k+星标。","模型综合能力高，超过GPT-4V水平的85%。","LLaVA的开源代码、模型和训练数据已经可供使用。"]

["清华大学与智谱 AI 合作开发的 CogVLM-17B 是一款国产多模态模型，具有卓越的性能。","CogVLM-17B 不仅能识别图像中的对象，还能分辨完整可见和部分可见的物体。","该模型采用了独特的深度融合方法，通过四个关键组件实现了图像特征和文本特征的深度对齐。","CogVLM-17B 在多个领域超越了谷歌的模型，被形象地称为 “14 边形战士”，展现了其多模态处理的出色能力。","这款国产多模态模型为多模态领域的技术研究提供了新的思路和可能性。"]

["OpenAI 正准备推出 GPT-4 的图像理解功能，名为 “GPT-Vision”，与谷歌的 Gemini 竞争。","GPT-Vision 可使 GPT-4 具备更广泛的图像应用能力，生成与图像内容相关的文本。","OpenAI 还在开发名为 “Gobi” 的多模态 AI 模型，有可能成为 GPT-5。","OpenAI 计划在 11 月 6 日举行的开发者大会上宣布 GPT-4 的新功能。","OpenAI 和谷歌的竞争将推动 AI 技术的进步，受益的是消费者。"]