Nvidia 近期宣布推出其最新的 AI 蓝图，旨在帮助各行业的开发者轻松构建智能代理，分析视频和图像内容。通过这一技术，任何行业的用户都能高效地搜索和总结大量的视觉数据。全球知名企业如 Accenture、Dell 和 Lenovo 等已开始利用 Nvidia AI 蓝图开发视觉 AI 代理，旨在提升生产力、优化流程并创造更安全的环境。各个企业和公共部门组织正致力于开发智能代理，以增强依赖视觉信息的工作能力，这些信息来源于越来越多的设备，如摄像头、物联网传感器和车辆。Nvidia 的这款 AI 蓝图为视频搜

知名 AI 视频生成平台 Runway 近日宣布推出全新功能——高级摄像机控制。 该功能允许用户像操控真实摄影机一样，精准控制虚拟场景中的镜头移动，为 AI 视频创作带来前所未有的灵活性和掌控力。用户可以自定义镜头移动的方向和力度，实现水平移动、环绕拍摄、位置探索、循环拍摄、快速缩放和慢速滑动等多种效果。 结合速度变化的循环拍摄功能尤其适合生成吸睛的视觉循环或过渡，极大拓展了创作潜力。 快速缩放则可以像电影镜头一样深入场景，而慢速滑动则能让镜头平稳地滑过场

人工智能视频平台 D-ID 今日宣布推出两款新型虚拟头像 ——Express 和 Premium+，旨在提升内容创作的质量和效率。如今，越来越多的企业希望借助更加人性化的 AI 头像来减轻视频制作的负担，特别是在市场营销、销售和客户支持等领域。D-ID 的新模型就是为了在这一竞争激烈的市场中抢占一席之地。Express 头像的训练时间仅需约一分钟的视频，能够在用户讲话时复制其头部动作。而 Premium + 则是公司的旗舰模型，需要至少几分钟的录制，以生成可以在视频中展示手部和躯干动作的 AI 头像。D-I

在众多 AI 视频生成模型中，Pika 无疑是最受欢迎的一个，尤其是在主流创作者和观众中。这个位于加州帕洛阿尔托的初创公司，由两位斯坦福 AI 博士辍学生共同创立，迄今为止已获得了1.35亿美元的融资。就在这个月初，Pika 推出了1.5版本的文本到视频和图像到视频的 AI 生成模型，并新增了六种让人惊艳的特效，包括 “爆炸”、“挤压”、“融化”、“压扁”、“膨胀” 和 “蛋糕化”，用户可以轻松地将这些效果添加到自己的照片中，制作出超现实且引人注目的短视频。为了庆祝万圣节

最近，Meta 与沙特阿拉伯的阿卜杜拉国王科技大学（KAUST）合作，推出了一款全新的视频扩散模型系列 ——MarDini。这个模型让高质量视频的创作变得更加简单和灵活，能够完成多种任务，比如填补视频中缺失的帧，将单张图片转换为动态场景，甚至还可以通过添加自然的连续帧来扩展短片段。在去年的基础上，Meta 在生成 AI 视频领域进一步发力。此前，它推出了 Emu Video 和 Emu Edit 等文本转视频和编辑模型。今年在发布 MarDini 之前，还推出了先进的视频编辑器 Movie Gen。由此可见，Meta 正在致

北京爱诗科技有限公司宣布，其最新版本的视频生成大模型PixVerse V3已全球同步公开上线。该版本在底层模型能力上实现了显著提升，提供了包括创意模板、口型匹配、故事续写和风格转换在内的多模态生成能力和丰富的AI玩法。

当前，多模态大型语言模型（MLLM）在视频理解领域取得了显著进展，但处理超长视频仍然是一个挑战。 这是因为，MLLM 通常难以处理超过最大上下文长度的数千个视觉标记，并且会受到标记聚合导致的信息衰减的影响。 同时，大量的视频标记也会带来高昂的计算成本。为了解决这些问题，智源研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等多所高校提出了 Video-XL，这是一种专为高效的小时级视频理解而设计的超长视觉语言模型。 Video-XL 的核心在于“视觉上下文潜在

小米公司CEO雷军近日通过视频就网络上流传的“雷军AI”配音恶搞现象进行了首次回应。雷军提到，随着AI技术的快速发展，自己的声音被制作成语音包并在多个视频中被滥用，甚至有用户反映在国庆期间被这种恶搞内容“骂”了整整七天。对此，雷军表示这给他本人带来了困扰和不适，他呼吁大家停止这种不当行为，并强调尽管AI技术本身是积极且实用的，但此类滥用行为并不恰当。他强调，依据相关法律法规，未经声音权人同意，任何组织或个人不得擅自使用、公开或侵害他人的声音权

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

最近，Meta AI 团队带来了 LongVU，这是一种新颖的时空自适应压缩机制，旨在提升长视频的语言理解能力。传统的多模态大型语言模型（MLLMs）在处理长视频时面临着上下文长度的限制，而 LongVU 正是为了解决这一难题而诞生。LongVU 的工作原理主要通过过滤重复帧、跨帧token压缩等方法来高效使用上下文长度，能够在保持视频视觉细节的同时减少视频中的冗余信息。具体来说，团队使用 DINOv2的特征来剔除那些高度相似的冗余帧。接着，通过文本引导的跨模态查询，实现了选择性地减少帧特征

在全球AI视频生成领域掀起新一轮竞争浪潮之际，中国科技企业MiniMax的"海螺AI"以其惊人的表现强势出圈。数据显示，这款诞生于今年4月的AI产品在9月份创下了867.41%的访问量增速，一跃成为全球AI产品访问增速榜首。这款产品的核心竞争力来自于其底层技术支撑。MiniMax基于万亿参数的MoE模型abab-6.5打造了海螺AI，使其具备了与GPT-4、Claude3Opus和Gemini1.5Pro比肩的实力。在实际应用中，海螺AI不仅支持语音通话、文本交互、图像识别等基础功能，更令人瞩目的是其视频生成能力。真正让海螺AI在全

最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能

2024中国计算机大会上，快手副总裁、大模型团队负责人张迪宣布，可灵AI将内测视频人脸模型功能。该功能基于创新的ID保持能力，支持用户自助训练人脸模型，完成训练后，可使用该模型进行5s/10s的文生视频。该功能旨在解决以往AI视频生成中，无法打造稳定人物IP角色的难题。通过自助训练人脸模型，用户可以创建自己的虚拟角色，并使用该模型生成视频。自今年六月发布以来，可灵AI已有超过360万用户，累计生成3700万个视频和超过一亿张图片。可灵AI在视频生成领域的技术进步和应用

最近，AI 视频公司 Genmo 宣布推出 Mochi1，这是一个全新的开源视频生成模型，用户可以通过文本提示生成高质量的视频。Mochi1的表现被认为与当前市场上领先的闭源竞争对手如 Runway、Luma AI 的 Dream Machine、快手的 可灵、Minimax 的 Hailuo 等等相媲美，甚至更优。该模型在 Apache2.0许可证下开放，用户无需支付费用就能享受到尖端的视频生成技术，而其他竞争产品的收费标准则从有限的免费计划到每月高达94.99美元不等。用户可以在 Hugging Face 上免费下载 Mochi1的模型权重和代码，不过，想要在个人

日前，AI视频生成器 Haiper AI正式上线其最新版本 ——Haiper2.0，新版本支持更犀利的动作、令人惊叹的视觉效果和动态模板，帮助用户制作出令人惊艳的视频。对比旧版，Haiper2.0进行了优化和升级，有两个主要亮点:其一，具备了更加真实的运动效果和细节，其二，新增的易用模板让视频创建变得更加简单。新增模板功能让用户只需简单的选择和点击，用户就能在几分钟内完成视频制作。Haiper背后是一个拥有超过100亿参数的强大 AI 模型，经过优化后可以在小型设备上高效运行，确保高质量输

智源研究院正式发布了他们的新一代多模态世界模型 Emu3，该模型的最大亮点在于，它仅依靠下一个 token 的预测能力，就能在文本、图像和视频这三种不同模态中进行理解和生成。在图像生成方面，Emu3能够根据视觉 token 预测生成高质量的图像。这意味着用户可以期待灵活的分辨率和多样的风格。而在视频生成方面，Emu3则是以一种全新的方式工作，不同于其他模型通过噪声生成视频，Emu3通过顺序预测直接生成视频。这种技术的进步使得视频生成变得更加流畅自然。在图像生成、视频生成和

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型

Facebook的母公司Meta宣布与好莱坞知名恐怖电影制作公司Blumhouse Productions合作，以测试其最新的生成式AI视频模型Movie Gen。Blumhouse Productions是《潜伏》和《逃出绝命镇》等热门电影的幕后推手。此次合作是Meta在本月早些时候推出Movie Gen后的一项重要举措，该工具据称能够根据用户的提示创建逼真的视频和音频片段，Meta希望借此与OpenAI和ElevenLabs等领先的媒体生成初创公司竞争。在一篇博客文章中，这家社交媒体公司表示，Blumhouse已经选定了电影制作人Aneesh Chaganty、The Spurlock Sisters和Casey Affleck

在创作引人入胜的视频时，除了视觉效果，音频同样扮演着重要角色。然而，寻找或制作合适的音效往往是一项耗时的工作。在 Adobe 的年度 MAX 大会上，他们展示了一款名为 Project Super Sonic 的实验性原型，这项技术可以通过文本生成音效、识别视频中的物体，甚至利用你的声音，快速为视频项目生成背景音效和音效。虽然通过文本提示生成音效的功能听起来很酷，但实际上，像 ElevenLabs 这样的公司已经在商业上提供了类似的服务。更有趣的是，Adobe 将这个功能更进一步，增加了两种创建音

火山引擎在近期的视频云技术大会上发布了一项重要创新:大模型训练视频预处理方案。这一技术已成功应用于豆包视频生成模型，标志着AI视频生成技术的重大进展。火山引擎总裁谭待强调，AIGC和多模态技术正在深刻改变用户体验。基于抖音的实践经验，火山引擎正积极探索AI大模型与视频技术的融合，为企业提供全方位解决方案。抖音集团视频架构负责人王悦指出，大模型训练面临诸多挑战，包括海量数据处理成本高、样本质量不一、处理链路复杂，以及多种异构算力资源的调度问题。