近日，字节跳动研究院和清华大学的研究人员联合发布了一项新研究，指出目前的 AI 视频生成模型，比如 OpenAI 的 Sora，虽然能创造出令人惊叹的视觉效果，但在理解基本物理规律方面却存在重大缺陷。这项研究引发了人们对 AI 在模拟现实时能力的广泛讨论。研究团队对 AI 视频生成模型进行了测试，设定了三种不同的场景，分别是已知模式下的预测、未知模式下的预测，以及熟悉元素的新组合。他们的目标是看看这些模型是否真的学习了物理规律，还是仅仅依赖于训练中的表面特征。通过

谷歌研究团队最新推出的 ReCapture 技术，正在颠覆传统视频编辑的玩法。这项创新让普通用户也能轻松实现专业级的摄像机运动调整，为已拍摄的视频重新设计镜头语言。传统视频后期制作中，改变已拍摄视频的镜头角度一直是个技术难题。现有方案在处理不同类型的视频内容时，往往难以同时保持复杂的运镜效果和画面细节。ReCapture 另辟蹊径，没有采用传统的4D 中间表示方法，而是巧妙利用生成式视频模型中储存的运动知识，通过 Stable Video Diffusion 将任务重新定义为视频到视频的转换过

今日，智谱技术团队发布了其最新的视频生成模型 CogVideoX v1.5，并将其开源。这一版本是自8月以来，智谱技术团队推出的 CogVideoX 系列中的又一重要进展。据了解，此次更新大幅提升了视频生成能力，包括支持5秒和10秒的视频长度、768P 的分辨率以及16帧的生成能力。同时，I2V（图像到视频）模型也支持任意尺寸比例，进一步增强了复杂语义的理解能力。CogVideoX v1.5包含两个主要模型:CogVideoX v1.5-5B 和 CogVideoX v1.5-5B-I2V，旨在为开发者提供更强大的视频生成工具。更值得关注的是，CogVideoX v1.5将

Facebook的母公司Meta宣布与好莱坞知名恐怖电影制作公司Blumhouse Productions合作，以测试其最新的生成式AI视频模型Movie Gen。Blumhouse Productions是《潜伏》和《逃出绝命镇》等热门电影的幕后推手。此次合作是Meta在本月早些时候推出Movie Gen后的一项重要举措，该工具据称能够根据用户的提示创建逼真的视频和音频片段，Meta希望借此与OpenAI和ElevenLabs等领先的媒体生成初创公司竞争。在一篇博客文章中，这家社交媒体公司表示，Blumhouse已经选定了电影制作人Aneesh Chaganty、The Spurlock Sisters和Casey Affleck

在最新的 MAX 大会上，Adobe 带来了令人振奋的 AI 新功能，其中最引人注目的是 Firefly AI 视频模型（Firefly Video Model）和多个增强版 Photoshop 工具。Firefly AI 视频模型Firefly 视频模型让用户可以通过文本提示创建视频或修改现有的视频内容，这无疑为创作者们提供了全新的创作空间。Firefly 视频模型的一个重要特点是，它仅使用经过授权的内容进行训练，这意味着用户在商业使用时会更加放心。通过 Adobe Premiere Pro Extend 功能，用户甚至可以在现有视频的基础上增加2秒钟的素材，支持720p 和1080p 的

快手、北京大学和北京邮电大学的研究团队联手推出了一项重磅科技成果——Pyramid-Flow超高清视频模型。这一开源项目在人工智能生成视频领域取得了显著突破，为行业带来了新的可能性。Pyramid-Flow模型展现了惊人的能力，仅需文本输入即可生成长达10秒、分辨率高达1280x768、帧率24fps的高质量视频。无论是光影效果、动作连贯性、整体画质、文本语义还原，还是色彩搭配，Pyramid-Flow都表现出色，生成的视频令人叹为观止。这项技术的一大亮点在于其高效的训练过程。研究团队仅使用A100GPU在

Runway公司近日宣布一项雄心勃勃的计划，旨在促进AI技术在电影制作中的应用。这家AI视频生成技术公司设立了一个高达500万美元的基金，计划资助多达100部原创电影项目。这一举措无疑为对AI技术感兴趣的导演们提供了一个难得的机会。Runway的"百部电影基金"计划旨在支持任何使用该公司生成式视频模型的视频项目。公司在博客文章中表示:"传统的融资机制往往忽视了整个行业生态系统中新兴的创新视角。"该计划的资助范围涵盖广泛，包括长片、短片、纪录片、实验性项目、音乐视频，甚

OpenAI 近日在视频 AI 领域再次引发轰动，他们正在对今年2月发布的 Sora 进行重大升级。根据《信息日报》的报道，这次升级的核心目标是显著提升 Sora 的性能，使其能够更快速地生成更长、更高质量的视频内容。回顾 Sora 初版的表现，确实存在不少亟待解决的问题。最初版本生成一段视频需要耗时超过10分钟，这样的效率显然无法满足实际应用需求。更严重的是，许多电影制作者对 Sora 的输出质量颇有微词。制片人 Patrick Cederberg 的经历就是一个典型案例:为了获得一个可用的视频，他不得不

最近，AI 初创公司 Runway 宣布与著名电影制作公司 Lionsgate （狮门影业）达成合作。这一消息在影视行业引起了不小的震动，因为这是首个大型电影公司与 AI 视频模型供应商直接签订的协议。Runway 的总部位于纽约市，得到了谷歌等公司的支持。虽然 Runway 的技术在好莱坞已经被一些电影制作人使用过，比如获得奥斯卡最佳影片的《瞬息全宇宙》，但这次的合作将使其在影视制作领域更进一步。在这次合作中，Runway 将利用 Lionsgate 超过两万部影视作品的资料库，包括《饥饿游戏》和即将上映

2024年9月4日，北京智源人工智能研究院（BAAI）宣布推出全球首个包含文生视频的模型对战评测服务——FlagEval大模型角斗场。这一服务面向用户开放，覆盖了国内外约40款大模型，并支持语言问答、多模态图文理解、文生图、文生视频等四大任务的自定义在线或离线评测。F

Hedra平台成功筹集1000万美元种子资金，由前NVIDIA、谷歌和元宇宙员工创立，吸引了Index Ventures、Abstract和A16Z Speedrun等知名投资者。Hedra推出的基础模型Character-1在种子轮中亮相，宣称是市场上速度最快的视频模型，已有35万用户使用，创作了超过160万个视频，部分在社交媒体上广受欢迎。平台允许用户创建AI流行明星并生成内容，同时注重安全和内容审核。Hedra计划使平台多模式化，整合故事、声音和视频生成，简化内容创作。Character-1是近期众多视频生成模型之一，其他公司如Haiper、RunwayML和Luma AI也推出了相关技术。大公司如OpenAI和谷歌也在该领域进行研发，展示其在AI驱动视频创作的潜力。

在数字媒体黄金时代，高质量视频的制作通常需要复杂的技能和昂贵设备。然而，新出现的Snap Video平台颠覆了这一传统，它通过自然语言输入即时生成视频。基于当前图像生成模型的成果，研究人员开发了Snap Video，这一创新的视频生成模型采纳了时间和空间上的冗余元素，从而提升生成视频的质量和一致性。 Snap Video协同处理空间和时间上的像素，自由地进行视频生成，同时采用改进的转换器结构，使其在训练时间和推理速度上都大大领先于现有技术。这种方法使得模型能够处理大量级参数，首次将文本到视频生成的质量推至业界最前沿。 Snap Video拥有显著优势，如既能处理大幅度运动，又不失文本到视频灵活的语义控制。它采用两级模型生成，先低分辨率，后高分辨率，避免了时间不一致。通过学习压缩的视频表示，进一步优化计算效率，实现了视频生成的高分辨率与真实性。 Snap Video在UCF101及MSR-VTT等平台上展现出其对动作质量和性能的特别优势，并在用户研究中也远超现有技术。此外，论文也总结了其他视频生成领域的研究，如对抗性训练、自回归生成、扩散模型在文本到视频生成中的应用。总的来说，Snap Video作为一个高效且全面的视频生成平台，标志着视频制作领域革命性的发展。

文章介绍了一款名为VideoPrism的视频编码器，由谷歌研究团队开发。这款模型可在多种视频理解任务中运用单一模型实现先进性能，包括视频分类、定位和生成字幕，甚至回答视频相关问题。训练方法涉及三个阶段：展示多样视频、使用高质量视频-字幕对和带有噪声的平行文本训练模型。训练数据量庞大规模，包括3600万高质量数据、5820百万个数据对。VideoPrism基于标准视觉变换器（ViT）进行空间和时间上因子化设计，并通过预训练方法进行针对性训练。该模型在多项视频理解任务上展现出优越性能，达到业界先进水平。虽然带来了视频理解领域的革新潜力，但在处理长视频和避免偏见方面仍面临挑战，需进一步研究解决。

最新消息！Gen-3 Alpha Text to Video 已经面向所有人开放使用了！这是一个全新的领域，能够以高保真、快速和可控的方式生成视频。现在就前往官网 http://runwayml.com 体验吧！这一消息引起了广泛关注，许多人都在热切期待这一新功能的到来。

["著名好莱坞大亨 Tyler Perry 停止了 8 亿美元的投资项目。","他认为新发布的文生视频模型 Sora 将对影视行业产生重大影响。","Sora 将简化影视创作流程，可能导致部分职位失业。","Tyler Perry 表示 AI 技术的发展速度让他感到震惊，影视行业将面临挑战。"]

["谷歌VideoPoet项目Research Lead蒋路加入TikTok，传闻担任北美技术部门负责人","蒋路离开谷歌，继续在视频生成领域工作，推出与Sora相似的视频生成技术","蒋路是CMU兼职教授，具有丰富科研经历，成为大厂争夺的AI基石型人才","VideoPoet项目使用Transformer取代UNet，成为AI视频生成SOTA，吸引TikTok","VideoPoet采用多模态大模型，具备多种视频生成能力，可能成为未来主流"]

["Midjourney公司宣布未来几个月将推出文本转视频模型。","公司将在1月开始培训视频模型，CEO表示这是平台的自然发展，引入竞争动态。","最新v6更新着重提高画质和用户体验，显示AI视频生成领域的激烈竞争。","进入视频领域是在竞争对手发布相关产品之后，加剧了竞争。","Midjourney以强调质量和用户体验而著称，最新v6更新是为了保持竞争力。"]

["Midjourney昨晚发布消息，计划从一月开始训练视频模型。","V6版本即将迎来重要更新，文本处理将有显著进步，内容连贯性提高，准确性改善。","V6版本改进中，Inpainting功能是首要关注点，风格调整器可能带来全新体验。","V7版本预示重大更新，显示Midjourney在视频生成领域将成为竞争力强大的竞争者。","文章报道了Midjourney最新动态，包括V6版本公测、版本更新引争议、V6版5大升级惊艳网友等。"]

["Runway与Getty Images合作推出新视频模型 RGM，满足企业对高质量、定制内容的需求。","新模型（RGM）为企业提供基准模型，可构建生成视频内容的定制模型，助力不同领域企业提升创意能力。","Runway和Getty Images共同推动AI和视频生成的创新，为企业更轻松地制作专业、引人入胜、符合品牌的内容提供可能。","RGM将在未来几个月内面向商业用户开放使用，为好莱坞制片厂、广告、媒体、广播等行业带来全新的创作渠道。"]