10 月 31 日讯 字节跳动悄然上线了一款名为"炉米Lumi"的AI模型分享社区平台。据悉，该平台将提供模型上传分享、Workflow搭建以及LoRA训练等功能，目前仍处于内测阶段，仅向白名单用户开放。

北京爱诗科技有限公司宣布，其最新版本的视频生成大模型PixVerse V3已全球同步公开上线。该版本在底层模型能力上实现了显著提升，提供了包括创意模板、口型匹配、故事续写和风格转换在内的多模态生成能力和丰富的AI玩法。

当前，多模态大型语言模型（MLLM）在视频理解领域取得了显著进展，但处理超长视频仍然是一个挑战。 这是因为，MLLM 通常难以处理超过最大上下文长度的数千个视觉标记，并且会受到标记聚合导致的信息衰减的影响。 同时，大量的视频标记也会带来高昂的计算成本。为了解决这些问题，智源研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等多所高校提出了 Video-XL，这是一种专为高效的小时级视频理解而设计的超长视觉语言模型。 Video-XL 的核心在于“视觉上下文潜在

马斯克旗下xAI公司近日为其AI模型Grok增添了图像理解功能，X平台付费用户现可向AI助手上传图片并进行相关提问。这项更新已经由xAI员工和Grok官方发言人在X平台正式确认。马斯克在平台上展示了Grok的新能力，称其不仅能理解图片内容，还能解读图片中蕴含的幽默元素。不过他也坦言，目前这项功能仍处于早期阶段，团队将持续改进完善。值得注意的是，自今年8月面向高级用户推出Grok-2模型以来，xAI一直在积极扩展其功能范畴。通过与黑森林实验室（Black Forest Labs）的FLUX.1模型合作，Grok已

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

最近，Meta AI 团队带来了 LongVU，这是一种新颖的时空自适应压缩机制，旨在提升长视频的语言理解能力。传统的多模态大型语言模型（MLLMs）在处理长视频时面临着上下文长度的限制，而 LongVU 正是为了解决这一难题而诞生。LongVU 的工作原理主要通过过滤重复帧、跨帧token压缩等方法来高效使用上下文长度，能够在保持视频视觉细节的同时减少视频中的冗余信息。具体来说，团队使用 DINOv2的特征来剔除那些高度相似的冗余帧。接着，通过文本引导的跨模态查询，实现了选择性地减少帧特征

最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能

Cohere 发布了最先进的多模态 AI 搜索模型 Embed3—— 现在支持多模态搜索，这意味着用户不仅可以通过文本，还能通过图像进行企业级的检索。Embed3自去年推出以来，一直在不断优化，帮助企业将文档转化为数字化的表示形式，而这次的升级将让它在图像搜索方面表现更为出色。Cohere 的联合创始人兼首席执行官 Aidan Gonzales 在社交媒体上分享了 Embed3在图像搜索方面的性能提升图表。Cohere 在一篇博客中表示，这一新功能将帮助企业充分挖掘存储在图像中的海量数据，提升工作效率。企业可以

智源研究院正式发布了他们的新一代多模态世界模型 Emu3，该模型的最大亮点在于，它仅依靠下一个 token 的预测能力，就能在文本、图像和视频这三种不同模态中进行理解和生成。在图像生成方面，Emu3能够根据视觉 token 预测生成高质量的图像。这意味着用户可以期待灵活的分辨率和多样的风格。而在视频生成方面，Emu3则是以一种全新的方式工作，不同于其他模型通过噪声生成视频，Emu3通过顺序预测直接生成视频。这种技术的进步使得视频生成变得更加流畅自然。在图像生成、视频生成和

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型

​北京智源人工智能研究院宣布推出原生多模态世界模型Emu3。这一模型基于下一个token预测技术，无需依赖扩散模型或组合方法，就能够完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了现有的知名开源模型，如SDXL、LLaVA、OpenSora等，展现了卓越的性能。

近年来，人工智能（AI）在医疗行业的影响越来越显著，特别是在疾病诊断和治疗规划方面。医学大型视觉语言模型(Med-LVLMs)的发展，为实现更智能的医疗诊断工具提供了新的可能性。然而，这些模型在实际应用中，常常面临一个不容忽视的问题，那就是事实幻觉。这种现象不仅可能导致错误的诊断结果，还可能对患者的健康产生严重的后果。为了解决这个困扰医学 AI 的问题，研究人员们开发了一种全新的多模态检索增强生成系统，命名为 MMed-RAG。这个系统的设计目标是提高 Med-LVLMs 的事实

Meta AI 最新推出的 SPIRIT-LM 是一款具有革命性意义的多模态基础语言模型，它能够自由混合文本和语音，并能像人类一样理解和表达情感。SPIRIT-LM 基于预训练的文本语言模型构建，通过在文本和语音单元上进行持续训练，扩展到语音模态。该模型将语音和文本序列连接成一个单一的标记集，并使用一个小型自动管理的语音-文本平行语料库，采用词级交织方法进行训练。SPIRIT-LM 有两个版本:基础版 （SPIRIT-LM-BASE） 使用语音语义单元。情感版 （SPIRIT-LM-EXPRESSIVE） 使用音调和风格单元来模拟情感

伊利诺伊理工学院、浙江大学、中佛罗里达大学以及伊利诺伊大学芝加哥分校的研究团队近日联合发布了全新的3D场景大语言模型Robin3D。该模型在包含一百万条指令遵循数据的大规模数据集上进行训练，并在五个常用的3D多模态学习基准测试中均取得了当前最佳的性能表现，标志着在构建通用3D智能体方向上的重大进步。Robin3D的成功得益于其创新的数据引擎RIG （Robust Instruction Generation）。RIG引擎旨在生成对抗性指令遵循数据和多样化指令遵循数据两种关键指令数据。对抗性指令遵循数据通

苹果公司最近为其多模态人工智能模型MM1推出了重大更新，将其升级为MM1.5版本。这次升级不仅仅是简单的版本号变更，而是全方位的能力提升，使得模型在各个领域都展现出了更强大的性能。MM1.5的核心升级在于其创新的数据处理方法。该模型采用了以数据为中心的训练方法，精心筛选和优化了训练数据集。具体而言，MM1.5使用了高清晰度的OCR数据和合成图像描述，以及优化的视觉指令微调数据混合。这些数据的引入使得模型在文字识别、图像理解和执行视觉指令等方面都有了显著提升。

最近，日本东京的初创公司 Rhymes AI 推出了他们的首款人工智能模型 ——Aria。该公司自称，Aria 是全球首个开源的多模态混合专家（MoE）模型。这个模型不仅具有处理多种输入模态的能力，还声称在能力上与一些知名的商业模型不相上下，甚至更胜一筹。Aria 的设计理念是希望能够在文本、代码、图像和视频等多种输入形式上，提供卓越的理解和处理能力。与传统的 Transformer 模型不同，MoE 模型通过多个专业的专家来替代其前馈层。当处理每个输入令牌时，一个路由模块会选择一部分专家进

vivo今日在2024vivo 开发者大会开幕演讲中正式发布了全新蓝心大模型矩阵。该矩阵全面升级了语言大模型和端侧大模型能力，并带来vivo自研的语音大模型、图像大模型以及多模态大模型。据了解，全新蓝心大模型矩阵包括语言大模型、端侧大模型、语音大模型、图像大模型和多模态大模型。其中，vivo推出了全新的30亿蓝心端侧大模型3B，官方称其在对话写作、摘要总结、信息抽取等能力上可以越级比肩行业7B-9B模型。相比蓝心7B，蓝心3B极致性能提升300%，平衡模式下功耗优化46%，内存减小63%

今日，科大讯飞宣布，2024科大讯飞全球1024开发者节将于10月24日开幕。在本届大会上，科大讯飞将宣布其讯飞星火大模型在数学、代码和长文本处理能力上实现显著提升，同时在中英文综合能力上继续保持领先。同时，科大讯飞将首次公开展示多模态视觉交互技术以及超拟人虚拟人交互能力，这些创新技术旨在打造更加智能化和人性化的人机交互体验，推动万物智联的进程。在行业应用方面，科大讯飞对教育、医疗、科研、司法、政务等行业的大模型进行了升级，并推出了更多满足行业需

最近，苹果 AI 研究团队推出了他们的新一代多模态大语言模型（MLLMs）家族 ——MM1.5。这一系列模型能够结合文本、图像等多种数据类型，向我们展示了 AI 在理解复杂任务方面的新能力。像视觉问答、图像生成和多模态数据解读这样的任务，都能在这些模型的帮助下得到更好的解决。多模态模型的一个大挑战，就是如何在不同数据类型之间实现有效的交互。过去的模型常常在处理文本丰富的图像或者细粒度视觉任务时遇到困难。因此，苹果的研究团队在 MM1.5模型中引入了创新的数据中心化

Meta 公司近日证实，用户使用 Ray-Ban Meta 智能眼镜拍摄的照片和视频可能会被用于训练其 AI 模型。这一做法引发了人们的担忧，因为用户可能并不了解他们正在向 Meta 提供大量图像用于训练其 AI 模型，这些图像可能包含他们的家庭内部、亲人或个人文件等信息。Meta 政策传播经理 Emil Vazquez 表示，在多模态 AI 可用的地区，用户与 Meta AI 共享的图像和视频可能会被用于改进 Meta 的 AI 模型，这符合其隐私政策。然而，这一做法与 Meta 之前的说法相矛盾，之前 Meta 表示，只要用户不将照片和视频