最近，AI 初创公司 Runway 宣布与著名电影制作公司 Lionsgate （狮门影业）达成合作。这一消息在影视行业引起了不小的震动，因为这是首个大型电影公司与 AI 视频模型供应商直接签订的协议。Runway 的总部位于纽约市，得到了谷歌等公司的支持。虽然 Runway 的技术在好莱坞已经被一些电影制作人使用过，比如获得奥斯卡最佳影片的《瞬息全宇宙》，但这次的合作将使其在影视制作领域更进一步。在这次合作中，Runway 将利用 Lionsgate 超过两万部影视作品的资料库，包括《饥饿游戏》和即将上映

2024年9月4日，北京智源人工智能研究院（BAAI）宣布推出全球首个包含文生视频的模型对战评测服务——FlagEval大模型角斗场。这一服务面向用户开放，覆盖了国内外约40款大模型，并支持语言问答、多模态图文理解、文生图、文生视频等四大任务的自定义在线或离线评测。F

Hedra平台成功筹集1000万美元种子资金，由前NVIDIA、谷歌和元宇宙员工创立，吸引了Index Ventures、Abstract和A16Z Speedrun等知名投资者。Hedra推出的基础模型Character-1在种子轮中亮相，宣称是市场上速度最快的视频模型，已有35万用户使用，创作了超过160万个视频，部分在社交媒体上广受欢迎。平台允许用户创建AI流行明星并生成内容，同时注重安全和内容审核。Hedra计划使平台多模式化，整合故事、声音和视频生成，简化内容创作。Character-1是近期众多视频生成模型之一，其他公司如Haiper、RunwayML和Luma AI也推出了相关技术。大公司如OpenAI和谷歌也在该领域进行研发，展示其在AI驱动视频创作的潜力。

在数字媒体黄金时代，高质量视频的制作通常需要复杂的技能和昂贵设备。然而，新出现的Snap Video平台颠覆了这一传统，它通过自然语言输入即时生成视频。基于当前图像生成模型的成果，研究人员开发了Snap Video，这一创新的视频生成模型采纳了时间和空间上的冗余元素，从而提升生成视频的质量和一致性。 Snap Video协同处理空间和时间上的像素，自由地进行视频生成，同时采用改进的转换器结构，使其在训练时间和推理速度上都大大领先于现有技术。这种方法使得模型能够处理大量级参数，首次将文本到视频生成的质量推至业界最前沿。 Snap Video拥有显著优势，如既能处理大幅度运动，又不失文本到视频灵活的语义控制。它采用两级模型生成，先低分辨率，后高分辨率，避免了时间不一致。通过学习压缩的视频表示，进一步优化计算效率，实现了视频生成的高分辨率与真实性。 Snap Video在UCF101及MSR-VTT等平台上展现出其对动作质量和性能的特别优势，并在用户研究中也远超现有技术。此外，论文也总结了其他视频生成领域的研究，如对抗性训练、自回归生成、扩散模型在文本到视频生成中的应用。总的来说，Snap Video作为一个高效且全面的视频生成平台，标志着视频制作领域革命性的发展。

文章介绍了一款名为VideoPrism的视频编码器，由谷歌研究团队开发。这款模型可在多种视频理解任务中运用单一模型实现先进性能，包括视频分类、定位和生成字幕，甚至回答视频相关问题。训练方法涉及三个阶段：展示多样视频、使用高质量视频-字幕对和带有噪声的平行文本训练模型。训练数据量庞大规模，包括3600万高质量数据、5820百万个数据对。VideoPrism基于标准视觉变换器（ViT）进行空间和时间上因子化设计，并通过预训练方法进行针对性训练。该模型在多项视频理解任务上展现出优越性能，达到业界先进水平。虽然带来了视频理解领域的革新潜力，但在处理长视频和避免偏见方面仍面临挑战，需进一步研究解决。

最新消息！Gen-3 Alpha Text to Video 已经面向所有人开放使用了！这是一个全新的领域，能够以高保真、快速和可控的方式生成视频。现在就前往官网 http://runwayml.com 体验吧！这一消息引起了广泛关注，许多人都在热切期待这一新功能的到来。

["著名好莱坞大亨 Tyler Perry 停止了 8 亿美元的投资项目。","他认为新发布的文生视频模型 Sora 将对影视行业产生重大影响。","Sora 将简化影视创作流程，可能导致部分职位失业。","Tyler Perry 表示 AI 技术的发展速度让他感到震惊，影视行业将面临挑战。"]

["谷歌VideoPoet项目Research Lead蒋路加入TikTok，传闻担任北美技术部门负责人","蒋路离开谷歌，继续在视频生成领域工作，推出与Sora相似的视频生成技术","蒋路是CMU兼职教授，具有丰富科研经历，成为大厂争夺的AI基石型人才","VideoPoet项目使用Transformer取代UNet，成为AI视频生成SOTA，吸引TikTok","VideoPoet采用多模态大模型，具备多种视频生成能力，可能成为未来主流"]

["Midjourney公司宣布未来几个月将推出文本转视频模型。","公司将在1月开始培训视频模型，CEO表示这是平台的自然发展，引入竞争动态。","最新v6更新着重提高画质和用户体验，显示AI视频生成领域的激烈竞争。","进入视频领域是在竞争对手发布相关产品之后，加剧了竞争。","Midjourney以强调质量和用户体验而著称，最新v6更新是为了保持竞争力。"]

["Midjourney昨晚发布消息，计划从一月开始训练视频模型。","V6版本即将迎来重要更新，文本处理将有显著进步，内容连贯性提高，准确性改善。","V6版本改进中，Inpainting功能是首要关注点，风格调整器可能带来全新体验。","V7版本预示重大更新，显示Midjourney在视频生成领域将成为竞争力强大的竞争者。","文章报道了Midjourney最新动态，包括V6版本公测、版本更新引争议、V6版5大升级惊艳网友等。"]

["Runway与Getty Images合作推出新视频模型 RGM，满足企业对高质量、定制内容的需求。","新模型（RGM）为企业提供基准模型，可构建生成视频内容的定制模型，助力不同领域企业提升创意能力。","Runway和Getty Images共同推动AI和视频生成的创新，为企业更轻松地制作专业、引人入胜、符合品牌的内容提供可能。","RGM将在未来几个月内面向商业用户开放使用，为好莱坞制片厂、广告、媒体、广播等行业带来全新的创作渠道。"]