近日，字节跳动研究院和清华大学的研究人员联合发布了一项新研究，指出目前的 AI 视频生成模型，比如 OpenAI 的 Sora，虽然能创造出令人惊叹的视觉效果，但在理解基本物理规律方面却存在重大缺陷。这项研究引发了人们对 AI 在模拟现实时能力的广泛讨论。研究团队对 AI 视频生成模型进行了测试，设定了三种不同的场景，分别是已知模式下的预测、未知模式下的预测，以及熟悉元素的新组合。他们的目标是看看这些模型是否真的学习了物理规律，还是仅仅依赖于训练中的表面特征。通过

最近，OpenAI 的 Sora 视频生成系统的研究负责人 Tim Brooks 在社交媒体上宣布，他将加入 Google DeepMind，继续在视频生成和世界模拟器方面开展工作。Brooks 表示，他对与 DeepMind 这样一支才华横溢的团队合作感到非常兴奋，并对自己在 OpenAI 度过的美好两年时光表示感谢，尤其是在 Sora 项目上所取得的成就。图源备注:图片由AI生成，图片授权服务商MidjourneySora 自今年2月发布以来，引起了广泛关注，并对竞争对手形成了压力。Brooks 的转会被视为 Google 在人工智能视频生成领域扩展实力的一部分。D

OpenAI 近日在视频 AI 领域再次引发轰动，他们正在对今年2月发布的 Sora 进行重大升级。根据《信息日报》的报道，这次升级的核心目标是显著提升 Sora 的性能，使其能够更快速地生成更长、更高质量的视频内容。回顾 Sora 初版的表现，确实存在不少亟待解决的问题。最初版本生成一段视频需要耗时超过10分钟，这样的效率显然无法满足实际应用需求。更严重的是，许多电影制作者对 Sora 的输出质量颇有微词。制片人 Patrick Cederberg 的经历就是一个典型案例:为了获得一个可用的视频，他不得不

OpenAI 最近正在着手升级其视频 AI Sora，这个项目最初在今年二月亮相。据 The Information 援引接近该公司管理团队的消息人士的话报道，OpenAI 正在开发其视频 AI Sora 的升级版本，新版本旨在比原始演示更快地制作更长、更高质量的视频剪辑。值得一提的是，Sora 在发布时并没有完全准备好。据说，最初的视频生成时间超过了十分钟，而一些电影制作人的反馈也颇为负面。比如，制片人帕特里克・塞德伯格（Patrick Cederberg）为了得到一个可用的片段，生成了数百个视频，但该模型在保持格、物体

OpenAI的Sora视频AI模型目前处于研究阶段，原定发布时间延迟，主要因与政策制定者的沟通未完、对安全风险的谨慎考量以及技术挑战导致成本高。Sora面临训练数据法律风险问题，尚未确认是否使用了YouTube数据。同时，OpenAI积极与好莱坞合作，包括阿什顿·库彻在内的多位人士正在测试该模型，旨在探索其在电影行业的应用潜力。此外，OpenAI通过在纽约的展览“新路”向艺术家提供未发布的AI工具使用机会，展示了视频AI在物理与数字艺术交汇处的创新应用。市场迅速发展，中国公司如KLING、Vidu等推出类似模型，Runway ML也推出了新AI模型。Sora被视为视频生成AI的重要里程碑，开发者期待其能力进一步扩展，推动更多应用。

OpenAI已选定台积电的1.6nm芯片工艺作为其主要供应商，这标志着其在人工智能硬件领域的重大战略升级，预计2026年开始大规模生产，将显著提升其技术性能。通过与博通和Marvell的合作，OpenAI计划在2024或2025年开发专用于AI应用的ASICs，基于台积电的3nm工艺系列。此外，苹果计划在新iPhone中集成OpenAI的AI解决方案，并可能对OpenAI进行大额投资，目标估值高达1000亿美元。这将影响苹果与谷歌之间的搜索服务协议，目前谷歌每年需支付苹果费用以保持在iOS设备上的默认搜索引擎地位。OpenAI还推出了一项名为SearchGPT的新AI搜索功能，旨在结合AI模型与网络信息，提供快速准确的信息搜索服务。

字节跳动团队计划于7月19日（本周五）首次大范围公布其最新人工智能模型技术进展。此次公布的内容涵盖文生图、类Sora新视频等全新AI模型，特别在长视频和高动态方向上将展示创新技术，有望直接对标OpenAI的Sora文生视频模型。

在数字媒体黄金时代，高质量视频的制作通常需要复杂的技能和昂贵设备。然而，新出现的Snap Video平台颠覆了这一传统，它通过自然语言输入即时生成视频。基于当前图像生成模型的成果，研究人员开发了Snap Video，这一创新的视频生成模型采纳了时间和空间上的冗余元素，从而提升生成视频的质量和一致性。 Snap Video协同处理空间和时间上的像素，自由地进行视频生成，同时采用改进的转换器结构，使其在训练时间和推理速度上都大大领先于现有技术。这种方法使得模型能够处理大量级参数，首次将文本到视频生成的质量推至业界最前沿。 Snap Video拥有显著优势，如既能处理大幅度运动，又不失文本到视频灵活的语义控制。它采用两级模型生成，先低分辨率，后高分辨率，避免了时间不一致。通过学习压缩的视频表示，进一步优化计算效率，实现了视频生成的高分辨率与真实性。 Snap Video在UCF101及MSR-VTT等平台上展现出其对动作质量和性能的特别优势，并在用户研究中也远超现有技术。此外，论文也总结了其他视频生成领域的研究，如对抗性训练、自回归生成、扩散模型在文本到视频生成中的应用。总的来说，Snap Video作为一个高效且全面的视频生成平台，标志着视频制作领域革命性的发展。

日前，AI 视频生成平台 Runway 宣布，他们最新推出的产品 Gen-3 Alpha 已向部分用户开启测试。与上一代相比，Gen-3 Alpha 在光影、质量、构图、文本语义还原、物理模拟、动作一致性 / 连贯性等方面实现了大幅度提升，成为了与 OpenAI 的 Sora 相媲美的产品。

最近，潞晨 Open-Sora 团队在720p 高清文生视频质量和生成时长上实现了突破性进展，他们不仅在720p高清视频质量和生成时长上搞了个大新闻，还顺手把这宝贝开源了，让整个社区都沸腾了!

["ora 火爆短片《气球人》引发争议，后期特效人工参与。","视频一致性问题：Sora 无法保证不同镜头主体一致性。","视频后期处理关键：Sora 生成素材需人类后期裁切、调速。","网友对 OpenAI 营销方式不满，认为存在误导。"]

["OpenAI 的 Sora 在 NVIDIA H100 上每小时生成 5 分钟视频，每天可生成 120 分钟视频","为支持 TikTok 和 YouTube 创作者社区，约需 720,000 个 NVIDIA H100GPU","Sora 推出后将面向视觉艺术家和电影制作人，计划加入声音和编辑灵活性","OpenAI 向好莱坞推广 Sora，创作者在上传视频前可能生成多个候选视频"]

["Sora 将于年内开放公测。","Sora 技术细节、生成速度和视频声效等详解。","红队测试进行中，加入创作者共同推动行业发展。","Sora 未来版本有望支持视频声效，提升用户体验。"]

["OpenAI 向好莱坞电影制片厂和导演展示视频生成 AI 系统 Sora。","Sora 可能在今年公开发布，引发好莱坞对 AI 技术在电影制作中的接受度。","AI 生成影像引发争议，涉及工作岗位、创作权等讨论持续进行。","Sora 展示引发了行业关注，好莱坞对 AI 技术在电影制作中的态度有待观察。"]

["Sora 存在多个致命缺点，无法完美生成视频内容。","Sora 的训练数据来自 Shutterstock，与 OpenAI 签订数据合作协议。","Sora 算力需求巨大，暂不会上市，希望降低算力需求。","Sora 最终会生成带声音的视频，安全性是重点关注领域。"]

["天图万境团队推出了名为Sora Opera的视频音频通用工具，实现了视频解除“静音模式”","用户可以为生成的视频添加配乐和音效，解除了视频的“静音模式”，但需要购买会员","Sora Opera计划提供文生成音效和视频配乐功能，云端版本将先提供给合作伙伴使用","创始人展示了几段Sora Opera的演示视频，支持长达60分钟的视频配音","Sora Opera还具备多项特色功能，为视频制作提供更多可能性，可能影响传统PPT演示"]

["Stable Diffusion 3 模型发布","DiT（Diffusion Transformer）架构应用","Stable Diffusion 3 在质量上有显著改进","Stable Diffusion 3 优于其他文本到图像生成系统","Stable Diffusion 3 参数量从 800M 到 8B","SD3 架构基于 Sora 核心研发成员和纽约大学助理教授合作","MMDiT 架构优于 UViT 和 DiT","Stable Diffusion 3 采用 Rectified Flow（RF）公式","作者提出的重新加权 RF 变体性能持续提高","Stable Diffusion 3 模型进行了扩展研究","作者利用灵活的文本编码器进行改进","Stable Diffusion 3 与其他模型进行了性能比较"]

["Sora频频刷屏","LTX Studio由Lightricks发布","新科技产品"]

["Open-Sora开源了完整的Sora复现架构方案","可以降低46%复现成本","模型训练输入序列长度扩充至819K patches","支持动态分辨率","支持多种模型结构","支持多种视频压缩方法","性能比基线方案有40%以上的性能提升和成本降低"]

["Sora模型的出现正在引发文生视频领域的变革","Sora模型的研发经历了近一年时间，过程中也经历了多个不同方向的探索","Sora模型使用了DiT的技术框架，突破了扩散模型的局限","七火山通过Lava平台与字节跳动、小米、快手建立合作关系，推动内容本地化和国际化发展","超讯通信通过战略投资七火山，成为其持股30%的单一大股东"]