在游戏开发领域，大模型逐渐成为不可或缺的“智囊团”，从AI角色生成到场景构建，展现全面能力。然而，游戏场景理解、图像识别与内容描述仍需提升。加拿大阿尔伯塔的研究团队推出开源大模型VideoGameBunny（VGB），针对游戏开发优化，具备多语言支持、高度可定制性、强大的文本生成能力、开源易访问性、兼容多种开发环境、丰富的模型文件和活跃社区支持。VGB支持多种功能，如游戏对话系统、教育应用、客服聊天机器人等。其核心组件Bunny模型，通过多层感知器网络将视觉信息转换为图像标记，高效处理游戏数据。通过与Meta开源LLama-3-8B结合使用SigLIP视觉编码器和S2包装器，VGB能够捕捉游戏视觉内容的多尺度特征，理解游戏环境，并生成匹配游戏图像的指令数据，如简短和详细的标题、图像到JSON的描述及基于图像的问答，从而提升游戏的互动性和沉浸感，成为开发者和玩家的强大助手。

北京智谱华章科技有限公司在2024年8月29日宣布了一系列重要的技术更新，包括新一代基座模型的发布和新的应用服务。在KDD2024大会上，智谱发布了包括语言模型GLM-4-Plus、文生图模型CogView-3-Plus、图像/视频理解模型GLM-4V-Plus和视频生成模型CogVideoX在内的新一代基座模型。这些模型在各自领域均达到了国际领先水平。

智谱AI公司开源了视频生成模型CogVideoX-5B，显著提升了视频生成的质量、视觉效果和推理性能。新模型兼容较低配置的GPU，如早期的GTX1080Ti和桌面端的RTX3060。这款基于大规模DiT模型的工具，采用3D因果变分自编码器和专家变换器技术，通过3D-RoPE位置编码与3D全注意力机制，实现高效文本到视频的生成。详细信息和代码可访问指定链接。

国产开源视频生成模型CogVideoX-5B在魔搭ModelScope社区正式开源，显著提升了视频生成的质量和视觉效果。基于大规模DiT模型，该模型采用3D因果变分自编码器、专家Transformer技术，通过3D-RoPE位置编码和3D全注意力机制实现时空联合建模。渐进式训练技术的运用，使得模型能够生成具有明显运动特征、连贯且高质量的长时间视频。

D-ID最近发布了AI Video Translate，一款创新的AI视频翻译工具，能够将视频内容翻译成多种语言，并克隆讲述者的声音，调整口型以确保翻译内容与画面完美契合。该工具支持29种语言的批量渲染，具备用户友好的界面，使得任何人都能轻松使用。D-ID通过这一技术，帮助客户在全球范围内推广营销、娱乐和社交媒体活动，节省了本地化成本。这项技术的推出对小型创作者特别有帮助，让他们能够接触到更广泛的观众群体。AI技术在翻译和声音克隆方面不断进步，为视频内容的全球化推广提供了新途径。D-ID的AI Video Translate工具将通过其平台D-ID Studio及API提供，且为订阅用户提供免费试用。对于使用该工具时，视频长度应在10秒至5分钟之间，文件大小不超过2GB，并要求视频中只包含一位面向镜头、面部始终可见的讲述者，以确保最佳效果。

智谱AI宣布将其视频生成模型CogVideoX开源，旨在推动视频生成技术的快速发展和应用。CogVideoX模型基于先进的大型模型技术，能够满足商业级应用的需求。目前开源的CogVideoX-2B版本在FP-16精度下的推理仅需18GB显存，微调则需要40GB显存，使得单张4090显卡即可进行推理，而单张A6000显卡即可完成微调。

最近，新加坡国立大学的Wenyi Yu及其团队提出了一项名为video-SALMONN的新技术，它不仅能够理解视频中的视觉帧序列、音频事件和音乐，更重要的是，它能够理解视频中的语音内容。这项技术的提出标志着我们在让机器理解视频内容方面迈出了重要一步。

智谱AI发布新一代视频生成模型CogVideoX，通过3D VAE结构与3D RoPE模块提升时间维度帧间关系捕捉，增强模型对文本的理解与指令遵循能力，实现文本、时间和空间三维融合的transformer架构，以高效生成符合用户需求的视频。该模型已上线智谱清言平台，支持免费体验文本与图像生成视频服务，其特点是快速生成、高效指令遵循、内容连贯性和画面调度灵活。智谱大模型开放平台bigmodel.cn也提供API调用服务。智谱AI通过此模型验证了Scaling Law在视频生成领域的有效性，并承诺持续扩大数据与模型规模，优化压缩视频信息与融合文本内容的能力。

近日，Stability AI公司宣布推出一项革命性的视频处理技术——Stable Video4D。该技术能够将单一视角的视频转换成8个不同角度的新视角视频，为创作者提供了前所未有的灵活性和创造力。Stable Video4D建立在该公司此前推出的Stable Video Diffusion模型基础之上。与将图像转换为视频不同，新模型可以接收视频输入，并生成多个新视角的视频输出，实现了从基于图像的视频生成向全3D动态视频合成的重大飞跃。

在快速发展的全球化时代，跨语言沟通需求愈发增长，尤其是视频内容的全球化传播。为满足这一需求，EasyVideoTrans应运而生，它是一款先进的专业视频转换工具，其利用电脑显卡GPU加速技术，实现了视频转换的高速度与高效能。这款工具以其独特的GPU加速功能，将以往可能耗费数小时乃至数天的工作压缩至几分钟内完成，极大提高了翻译和校对的效率。它提供多种高级功能，包括字幕编辑、翻译引擎选择和对话人声个性化设置，让用户根据需求自由定制转换参数。借助直观的WEB界面和灵活的工作流程，EasyVideoTrans的操作过程愉快而便捷。除此之外，它还具备PlayGround页面供用户预览和体验，并支持多平台使用，包括GitHub和Bilibili，为用户提供全面的获取和使用支持。总之，EasyVideoTrans是一款结合了高效、个性化和用户友好设计的视频转换工具，极大地促进了全球化视频内容的多语言传播。官网链接：https://easyvideotrans.com/

在数字媒体黄金时代，高质量视频的制作通常需要复杂的技能和昂贵设备。然而，新出现的Snap Video平台颠覆了这一传统，它通过自然语言输入即时生成视频。基于当前图像生成模型的成果，研究人员开发了Snap Video，这一创新的视频生成模型采纳了时间和空间上的冗余元素，从而提升生成视频的质量和一致性。 Snap Video协同处理空间和时间上的像素，自由地进行视频生成，同时采用改进的转换器结构，使其在训练时间和推理速度上都大大领先于现有技术。这种方法使得模型能够处理大量级参数，首次将文本到视频生成的质量推至业界最前沿。 Snap Video拥有显著优势，如既能处理大幅度运动，又不失文本到视频灵活的语义控制。它采用两级模型生成，先低分辨率，后高分辨率，避免了时间不一致。通过学习压缩的视频表示，进一步优化计算效率，实现了视频生成的高分辨率与真实性。 Snap Video在UCF101及MSR-VTT等平台上展现出其对动作质量和性能的特别优势，并在用户研究中也远超现有技术。此外，论文也总结了其他视频生成领域的研究，如对抗性训练、自回归生成、扩散模型在文本到视频生成中的应用。总的来说，Snap Video作为一个高效且全面的视频生成平台，标志着视频制作领域革命性的发展。

MotionClone技术在数字内容创作领域是一个重大突破，其专长在于能够从参考视频中克隆动作，然后根据新的文本描述无缝合成全新的视频内容。相较于现有的文本到视频生成模型，在动作合成方面MotionClone展现出的独特优势，无需额外训练或微调，仅通过直接克隆动作即能应对未见过的动作类型。该技术的核心亮点包括：时间注意力机制，精准捕捉参考视频中的动作；主要时间注意力引导，减少噪声影响；位置感知的语义引导，增强空间关系和文本对齐，提升动作保真度、时间和文本一致性。MotionClone的问世，不仅提高了视频内容生成的质量与效率，更展示了未来智能化、个性化的视频创作能力，有望实现“所想即所得”的创作愿景。

文章介绍了一款名为VideoPrism的视频编码器，由谷歌研究团队开发。这款模型可在多种视频理解任务中运用单一模型实现先进性能，包括视频分类、定位和生成字幕，甚至回答视频相关问题。训练方法涉及三个阶段：展示多样视频、使用高质量视频-字幕对和带有噪声的平行文本训练模型。训练数据量庞大规模，包括3600万高质量数据、5820百万个数据对。VideoPrism基于标准视觉变换器（ViT）进行空间和时间上因子化设计，并通过预训练方法进行针对性训练。该模型在多项视频理解任务上展现出优越性能，达到业界先进水平。虽然带来了视频理解领域的革新潜力，但在处理长视频和避免偏见方面仍面临挑战，需进一步研究解决。

智谱AI宣布CogVLM2-Video模型开源升级，这是一个在视频理解领域取得显著进展的模型。CogVLM2-Video通过引入多帧视频图像和时间戳作为编码器输入，解决了现有视频理解模型在处理时间信息丢失问题上的局限。模型利用自动化的时间定位数据构建方法，生成了3万条与时间相关的视频问答数据，从而训练出在公共视频理解基准上达到最新性能的模型。

在2024年的世界人工智能大会上，商汤科技展示了其全新可控人物视频生成大模型——Vimi。该模型应用了商汤自主研发的先进大模型技术，通过一张照片即可生成与目标动作吻合的人物视频，具备精准的表情和肢体控制、多种驱动方式（包括视频、动画、声音和文字）以及高度一致、光影自然的视频输出。Vimi的突出稳定性使得它能够生成长达1分钟以上的人物视频，并且画面效果不会随时间劣化。模型还具备根据人物动作调整环境的能力，支持光影变化模拟，为视频创作者提供了丰富的创作自由度。此外，Vimi还以Vimi相机的形式推出了消费者版本，为用户提供了将不同角度的高清人物图片转化为数字分身和个性化风格视频的工具。用户可以通过关注并提交预约来体验Vimi相机的内测版本。

北京大学与快手AI团队合作，成功攻克了复杂视频生成的难题。他们提出了一种名为VideoTetris的新框架，能够像拼图一样轻松组合各种细节，生成高难度、指令复杂的视频。该框架在复杂视频生成任务中超越了Pika、Gen-2等商用模型。

随着人工智能技术的发展，视频理解变得越来越重要。在这个背景下，VideoLLaMA2项目应运而生，旨在推进视频大语言模型时空建模和音频理解能力。这个项目是一个高级多模态语言模型，可以帮助用户更好地理解视频内容。

["谷歌VideoPoet项目Research Lead蒋路加入TikTok，传闻担任北美技术部门负责人","蒋路离开谷歌，继续在视频生成领域工作，推出与Sora相似的视频生成技术","蒋路是CMU兼职教授，具有丰富科研经历，成为大厂争夺的AI基石型人才","VideoPoet项目使用Transformer取代UNet，成为AI视频生成SOTA，吸引TikTok","VideoPoet采用多模态大模型，具备多种视频生成能力，可能成为未来主流"]