亚马逊Prime Video平台迎来重大更新。其标志性的X-Ray功能再添"AI智能助手"，全新的X-Ray Recaps功能正式亮相，让观影体验再上新台阶。X-Ray一直是Prime Video最受欢迎的功能之一，能够实时展示演员简介、背景音乐、拍摄花絮等丰富信息。而这次推出的X-Ray Recaps则通过生成式AI技术，将这一体验推向了新高度。据亚马逊官方介绍，X-Ray Recaps能够根据观众当前观看进度，智能生成个性化的内容概要，无论是整季剧集梗概、单集剧情回顾，还是某个片段的详细解说，都能轻松应对。这意味着，当你跟

亚马逊的 Prime Video 正在推出一项名为 “X-Ray Recaps 新功能，这是一种利用生成式人工智能技术的工具，旨在帮助用户快速回顾他们正在观看的节目。根据亚马逊在其博客中发布的信息，X-Ray Recaps 可以生成包括整个季节、单集及单集片段在内的文本摘要，用户无需从头观看便可了解关键情节。这一新功能将通过节目详细信息页面或在观看节目时的 X-Ray 功能进行访问。它能够分析不同的视频片段，并结合字幕或对话，生成有关关键事件、地点、时间和对话的详细描述。这意味着用户可以轻松

当前，多模态大型语言模型（MLLM）在视频理解领域取得了显著进展，但处理超长视频仍然是一个挑战。 这是因为，MLLM 通常难以处理超过最大上下文长度的数千个视觉标记，并且会受到标记聚合导致的信息衰减的影响。 同时，大量的视频标记也会带来高昂的计算成本。为了解决这些问题，智源研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等多所高校提出了 Video-XL，这是一种专为高效的小时级视频理解而设计的超长视觉语言模型。 Video-XL 的核心在于“视觉上下文潜在

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能

近日，智谱AI宣布，视频通话API:GLM-4-Plus-VideoCall上线开放平台开放申请。据介绍，这是清言视频通话背后的模型，能够实现视频通话和语音多轮交互等跨模态能力，有望成为推动人机交互革新的新范式。

在 AI 浪潮席卷全球的今天，语言障碍不再是知识共享的绊脚石。VideoLingo，这款革命性的视频翻译和本地化配音工具，可以一键为你带来 Netflix 级品质翻译视频，带来了人工智能视频翻译的新方式。VideoLingo 是一款全自动视频本地化工具，支持生成 Netflix 品质的字幕！支持多种高质量配音方案！在人工智能加速提升内容生产效率的背景下，VideoLingo 强大的功能帮助全球视频内容创作者和翻译者提供了跨越语言障碍的解决方案。本文将详细介绍 VideoLingo 的相关信息，帮助您全面了解这款产品。

在游戏开发领域，大模型逐渐成为不可或缺的“智囊团”，从AI角色生成到场景构建，展现全面能力。然而，游戏场景理解、图像识别与内容描述仍需提升。加拿大阿尔伯塔的研究团队推出开源大模型VideoGameBunny（VGB），针对游戏开发优化，具备多语言支持、高度可定制性、强大的文本生成能力、开源易访问性、兼容多种开发环境、丰富的模型文件和活跃社区支持。VGB支持多种功能，如游戏对话系统、教育应用、客服聊天机器人等。其核心组件Bunny模型，通过多层感知器网络将视觉信息转换为图像标记，高效处理游戏数据。通过与Meta开源LLama-3-8B结合使用SigLIP视觉编码器和S2包装器，VGB能够捕捉游戏视觉内容的多尺度特征，理解游戏环境，并生成匹配游戏图像的指令数据，如简短和详细的标题、图像到JSON的描述及基于图像的问答，从而提升游戏的互动性和沉浸感，成为开发者和玩家的强大助手。

北京智谱华章科技有限公司在2024年8月29日宣布了一系列重要的技术更新，包括新一代基座模型的发布和新的应用服务。在KDD2024大会上，智谱发布了包括语言模型GLM-4-Plus、文生图模型CogView-3-Plus、图像/视频理解模型GLM-4V-Plus和视频生成模型CogVideoX在内的新一代基座模型。这些模型在各自领域均达到了国际领先水平。

智谱AI公司开源了视频生成模型CogVideoX-5B，显著提升了视频生成的质量、视觉效果和推理性能。新模型兼容较低配置的GPU，如早期的GTX1080Ti和桌面端的RTX3060。这款基于大规模DiT模型的工具，采用3D因果变分自编码器和专家变换器技术，通过3D-RoPE位置编码与3D全注意力机制，实现高效文本到视频的生成。详细信息和代码可访问指定链接。

国产开源视频生成模型CogVideoX-5B在魔搭ModelScope社区正式开源，显著提升了视频生成的质量和视觉效果。基于大规模DiT模型，该模型采用3D因果变分自编码器、专家Transformer技术，通过3D-RoPE位置编码和3D全注意力机制实现时空联合建模。渐进式训练技术的运用，使得模型能够生成具有明显运动特征、连贯且高质量的长时间视频。

D-ID最近发布了AI Video Translate，一款创新的AI视频翻译工具，能够将视频内容翻译成多种语言，并克隆讲述者的声音，调整口型以确保翻译内容与画面完美契合。该工具支持29种语言的批量渲染，具备用户友好的界面，使得任何人都能轻松使用。D-ID通过这一技术，帮助客户在全球范围内推广营销、娱乐和社交媒体活动，节省了本地化成本。这项技术的推出对小型创作者特别有帮助，让他们能够接触到更广泛的观众群体。AI技术在翻译和声音克隆方面不断进步，为视频内容的全球化推广提供了新途径。D-ID的AI Video Translate工具将通过其平台D-ID Studio及API提供，且为订阅用户提供免费试用。对于使用该工具时，视频长度应在10秒至5分钟之间，文件大小不超过2GB，并要求视频中只包含一位面向镜头、面部始终可见的讲述者，以确保最佳效果。

智谱AI宣布将其视频生成模型CogVideoX开源，旨在推动视频生成技术的快速发展和应用。CogVideoX模型基于先进的大型模型技术，能够满足商业级应用的需求。目前开源的CogVideoX-2B版本在FP-16精度下的推理仅需18GB显存，微调则需要40GB显存，使得单张4090显卡即可进行推理，而单张A6000显卡即可完成微调。

最近，新加坡国立大学的Wenyi Yu及其团队提出了一项名为video-SALMONN的新技术，它不仅能够理解视频中的视觉帧序列、音频事件和音乐，更重要的是，它能够理解视频中的语音内容。这项技术的提出标志着我们在让机器理解视频内容方面迈出了重要一步。

智谱AI发布新一代视频生成模型CogVideoX，通过3D VAE结构与3D RoPE模块提升时间维度帧间关系捕捉，增强模型对文本的理解与指令遵循能力，实现文本、时间和空间三维融合的transformer架构，以高效生成符合用户需求的视频。该模型已上线智谱清言平台，支持免费体验文本与图像生成视频服务，其特点是快速生成、高效指令遵循、内容连贯性和画面调度灵活。智谱大模型开放平台bigmodel.cn也提供API调用服务。智谱AI通过此模型验证了Scaling Law在视频生成领域的有效性，并承诺持续扩大数据与模型规模，优化压缩视频信息与融合文本内容的能力。

近日，Stability AI公司宣布推出一项革命性的视频处理技术——Stable Video4D。该技术能够将单一视角的视频转换成8个不同角度的新视角视频，为创作者提供了前所未有的灵活性和创造力。Stable Video4D建立在该公司此前推出的Stable Video Diffusion模型基础之上。与将图像转换为视频不同，新模型可以接收视频输入，并生成多个新视角的视频输出，实现了从基于图像的视频生成向全3D动态视频合成的重大飞跃。

在快速发展的全球化时代，跨语言沟通需求愈发增长，尤其是视频内容的全球化传播。为满足这一需求，EasyVideoTrans应运而生，它是一款先进的专业视频转换工具，其利用电脑显卡GPU加速技术，实现了视频转换的高速度与高效能。这款工具以其独特的GPU加速功能，将以往可能耗费数小时乃至数天的工作压缩至几分钟内完成，极大提高了翻译和校对的效率。它提供多种高级功能，包括字幕编辑、翻译引擎选择和对话人声个性化设置，让用户根据需求自由定制转换参数。借助直观的WEB界面和灵活的工作流程，EasyVideoTrans的操作过程愉快而便捷。除此之外，它还具备PlayGround页面供用户预览和体验，并支持多平台使用，包括GitHub和Bilibili，为用户提供全面的获取和使用支持。总之，EasyVideoTrans是一款结合了高效、个性化和用户友好设计的视频转换工具，极大地促进了全球化视频内容的多语言传播。官网链接：https://easyvideotrans.com/

在数字媒体黄金时代，高质量视频的制作通常需要复杂的技能和昂贵设备。然而，新出现的Snap Video平台颠覆了这一传统，它通过自然语言输入即时生成视频。基于当前图像生成模型的成果，研究人员开发了Snap Video，这一创新的视频生成模型采纳了时间和空间上的冗余元素，从而提升生成视频的质量和一致性。 Snap Video协同处理空间和时间上的像素，自由地进行视频生成，同时采用改进的转换器结构，使其在训练时间和推理速度上都大大领先于现有技术。这种方法使得模型能够处理大量级参数，首次将文本到视频生成的质量推至业界最前沿。 Snap Video拥有显著优势，如既能处理大幅度运动，又不失文本到视频灵活的语义控制。它采用两级模型生成，先低分辨率，后高分辨率，避免了时间不一致。通过学习压缩的视频表示，进一步优化计算效率，实现了视频生成的高分辨率与真实性。 Snap Video在UCF101及MSR-VTT等平台上展现出其对动作质量和性能的特别优势，并在用户研究中也远超现有技术。此外，论文也总结了其他视频生成领域的研究，如对抗性训练、自回归生成、扩散模型在文本到视频生成中的应用。总的来说，Snap Video作为一个高效且全面的视频生成平台，标志着视频制作领域革命性的发展。

MotionClone技术在数字内容创作领域是一个重大突破，其专长在于能够从参考视频中克隆动作，然后根据新的文本描述无缝合成全新的视频内容。相较于现有的文本到视频生成模型，在动作合成方面MotionClone展现出的独特优势，无需额外训练或微调，仅通过直接克隆动作即能应对未见过的动作类型。该技术的核心亮点包括：时间注意力机制，精准捕捉参考视频中的动作；主要时间注意力引导，减少噪声影响；位置感知的语义引导，增强空间关系和文本对齐，提升动作保真度、时间和文本一致性。MotionClone的问世，不仅提高了视频内容生成的质量与效率，更展示了未来智能化、个性化的视频创作能力，有望实现“所想即所得”的创作愿景。

文章介绍了一款名为VideoPrism的视频编码器，由谷歌研究团队开发。这款模型可在多种视频理解任务中运用单一模型实现先进性能，包括视频分类、定位和生成字幕，甚至回答视频相关问题。训练方法涉及三个阶段：展示多样视频、使用高质量视频-字幕对和带有噪声的平行文本训练模型。训练数据量庞大规模，包括3600万高质量数据、5820百万个数据对。VideoPrism基于标准视觉变换器（ViT）进行空间和时间上因子化设计，并通过预训练方法进行针对性训练。该模型在多项视频理解任务上展现出优越性能，达到业界先进水平。虽然带来了视频理解领域的革新潜力，但在处理长视频和避免偏见方面仍面临挑战，需进一步研究解决。