亚马逊的 Prime Video 正在推出一项名为 “X-Ray Recaps 新功能，这是一种利用生成式人工智能技术的工具，旨在帮助用户快速回顾他们正在观看的节目。根据亚马逊在其博客中发布的信息，X-Ray Recaps 可以生成包括整个季节、单集及单集片段在内的文本摘要，用户无需从头观看便可了解关键情节。这一新功能将通过节目详细信息页面或在观看节目时的 X-Ray 功能进行访问。它能够分析不同的视频片段，并结合字幕或对话，生成有关关键事件、地点、时间和对话的详细描述。这意味着用户可以轻松

近日，图像 AI 初创公司 Recraft 发布了其最新的文本生成图像模型 Recraft v3，该模型在独立测试中表现出色，重新定义了图像生成的性能标准。根据 Recraft 的介绍，v3模型在生成图像中的文本、保持解剖学准确性、理解提示和制作高质量视觉内容方面都表现优异。其最大的突破在于能够在一次生成中准确呈现长段文本，而许多其他模型在处理超过几个字时常常力不从心。Recraft v3在 Hugging Face 的文本生成图像基准测试中名列第一，获得1172的 ELO 分数，超越了近期的竞争对手 Flux 和 Ideogram。用户

GitHub 近日宣布，将为使用 Mac 的开发人员提供一项重要更新。GitHub C o p ilot 的第一个预览版现已推出，开发人员可以尝试这项基于 AI 的新功能来改善他们的工作流程。GitHub C o pilot 是一个 AI 编码助手，它通过针对特定命令的建议和请求帮助开发人员更快地 编写代码。GitHub C o p il ot 现已适用于许多 IDE，包括 Android Studio 和 Visual Studio Code。现在该功能还将集成到 Xcode 中，Xcode 是用于为 macOS 和 iOS 等 Apple 平台开发应用程序的软件。借助 Xcode 中的 GitHub Co p ilot，开发人员可以使用代码完成和多行建议

当前，多模态大型语言模型（MLLM）在视频理解领域取得了显著进展，但处理超长视频仍然是一个挑战。 这是因为，MLLM 通常难以处理超过最大上下文长度的数千个视觉标记，并且会受到标记聚合导致的信息衰减的影响。 同时，大量的视频标记也会带来高昂的计算成本。为了解决这些问题，智源研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等多所高校提出了 Video-XL，这是一种专为高效的小时级视频理解而设计的超长视觉语言模型。 Video-XL 的核心在于“视觉上下文潜在

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能

阿里巴巴达摩院最近开源了一款名为CoI-Agent的AI工具，可以帮助科研人员自动生成科研idea。这个工具可以根据输入的论文主题，快速生成相关的科研idea，帮助科研人员节省时间和提高效率。CoI-Agent可以被视为一个AI研究助手，可以帮助科研人员头脑风暴、发散思维，找到新的研究方向和idea。这个工具可以根据输入的主题，快速生成相关的关键词、研究问题、研究方法等，帮助科研人员快速找到研究方向。阿里巴巴达摩院开源CoI-Agent的目的是希望能够帮助科研人员提高研究效率，找到新的研

最近，加拿大的 AI 图像初创公司 Ideogram 推出了一项新功能 —— Canvas，目前正在进行 beta 测试。Canvas功能不仅包含了常规的图像生成，还提供了多种强大的选项，像 Remix、Extend （可帮助用户将图像扩展到其原始边框之外，从而保持一致的样式。此工具可用于调整图像大小、调整构图或将内容调整为不同的屏幕格式，而不会丢失原始结构。）和 Magic Fill(允许用户通过替换对象、添加文本、更改背景或修复瑕疵来编辑图像的特定区域) 等允许用户将新生成的图像自由地展开、对比，随意调整大

​近日，CodeFuse IDE0.6版本正式发布，引入了编辑器诊断问题 AI 修复功能，以及支持在下拉补全时同时出现内敛补全的特性，进一步提升了代码编写的便捷性和效率。CodeFuse IDE 是一款基于蚂蚁自研大模型 CodeFuse 和自研 IDE 框架 OpenSumi 开发的 AI 集成开发环境（IDE），支持主流编程语言，并在开发过程中提供代码编写建议、代码解释、单元测试生成、问题修复和智能终端等功能。

在近期的一项研究中，OpenAI研究团队推出了名为 MLE-bench 的全新基准测试，旨在评估AI智能体在机器学习工程方面的表现。这项研究特别关注75个来自 Kaggle 的机器学习工程相关竞赛，旨在测试代理在现实世界中所需的多种技能，包括模型训练、数据集准备和实验运行等。为了更好地进行评估，研究团队使用了 Kaggle 公开排行榜的基础数据，确立了每个竞赛的人类基准。在实验中，他们利用开源的智能体架构，对几种前沿语言模型进行了测试。结果显示，最佳表现的配置 ——OpenAI 的 o1-preview

近日，智谱AI宣布，视频通话API:GLM-4-Plus-VideoCall上线开放平台开放申请。据介绍，这是清言视频通话背后的模型，能够实现视频通话和语音多轮交互等跨模态能力，有望成为推动人机交互革新的新范式。

心理健康初创公司 Yung Sidekick 已获得825，000美元的种子前资金，用于开发针对心理健康专业人士的人工智能平台。该平台可以捕获治疗师的治疗音频并自动生成记录，人工智能可以在2分钟内从中提取可用于电子健康记录的进度记录和详细的治疗报告。Yung Sidekick 平台的目标是减少心理学家的行政负担，让他们能够投入更多时间与客户进行有意义的互动。该公司联合创始人 Stanley Efrem 表示:“在文书工作上花费的每一分钟，都意味着用于患者护理的时间减少一分钟。”图片来源:Yung Sidekick该公

在 AI 浪潮席卷全球的今天，语言障碍不再是知识共享的绊脚石。VideoLingo，这款革命性的视频翻译和本地化配音工具，可以一键为你带来 Netflix 级品质翻译视频，带来了人工智能视频翻译的新方式。VideoLingo 是一款全自动视频本地化工具，支持生成 Netflix 品质的字幕！支持多种高质量配音方案！在人工智能加速提升内容生产效率的背景下，VideoLingo 强大的功能帮助全球视频内容创作者和翻译者提供了跨越语言障碍的解决方案。本文将详细介绍 VideoLingo 的相关信息，帮助您全面了解这款产品。

在近期的云栖大会上，JetBrains 正式发布了基于阿里云通义大模型的 JetBrains Al Assistant。据悉，JetBrains Al Assistant 与多款 JetBrains 产品深度集成，是专为中国开发者量身定制的提效神器。JetBrains Al Assistant 支持全链路优化开发，可在特定 IDE 工具窗口中作为内联操作使用，也可以通过内置聊天使用。JetBrains 此前曾强调，AI Assistant 在中国大陆和其他地区没有区别，只是 LLM 不同，但主要功能完全相同。此外，JetBrains 中国区总裁李玥萱表示，“中国市场在 JetBrains 的全球版图中占据举足轻重的地位

最近，法国初创公司 Poolside 引起了广泛关注。这家公司专注于开发人工智能技术，旨在帮助编写软件，尽管它们的初始产品尚未发布，但却已经在谈论新一轮融资，估值预计将达到30亿美元。图源备注：图片由AI生成，图片授权服务商Midjourney据知情人士透露，Poolside 计划融资近5亿美元，现有投资者贝恩资本风险投资 （Bain Capital Ventures） 将可能牵头这轮投资。这显示出，尽管公共市场对科技行业的即时商业回报感到一些失望，投资者仍然对 AI 初创公司充满热情。Poolside 成立于2023年，由前

在游戏开发领域，大模型逐渐成为不可或缺的“智囊团”，从AI角色生成到场景构建，展现全面能力。然而，游戏场景理解、图像识别与内容描述仍需提升。加拿大阿尔伯塔的研究团队推出开源大模型VideoGameBunny（VGB），针对游戏开发优化，具备多语言支持、高度可定制性、强大的文本生成能力、开源易访问性、兼容多种开发环境、丰富的模型文件和活跃社区支持。VGB支持多种功能，如游戏对话系统、教育应用、客服聊天机器人等。其核心组件Bunny模型，通过多层感知器网络将视觉信息转换为图像标记，高效处理游戏数据。通过与Meta开源LLama-3-8B结合使用SigLIP视觉编码器和S2包装器，VGB能够捕捉游戏视觉内容的多尺度特征，理解游戏环境，并生成匹配游戏图像的指令数据，如简短和详细的标题、图像到JSON的描述及基于图像的问答，从而提升游戏的互动性和沉浸感，成为开发者和玩家的强大助手。

北京智谱华章科技有限公司在2024年8月29日宣布了一系列重要的技术更新，包括新一代基座模型的发布和新的应用服务。在KDD2024大会上，智谱发布了包括语言模型GLM-4-Plus、文生图模型CogView-3-Plus、图像/视频理解模型GLM-4V-Plus和视频生成模型CogVideoX在内的新一代基座模型。这些模型在各自领域均达到了国际领先水平。

智谱AI公司开源了视频生成模型CogVideoX-5B，显著提升了视频生成的质量、视觉效果和推理性能。新模型兼容较低配置的GPU，如早期的GTX1080Ti和桌面端的RTX3060。这款基于大规模DiT模型的工具，采用3D因果变分自编码器和专家变换器技术，通过3D-RoPE位置编码与3D全注意力机制，实现高效文本到视频的生成。详细信息和代码可访问指定链接。

国产开源视频生成模型CogVideoX-5B在魔搭ModelScope社区正式开源，显著提升了视频生成的质量和视觉效果。基于大规模DiT模型，该模型采用3D因果变分自编码器、专家Transformer技术，通过3D-RoPE位置编码和3D全注意力机制实现时空联合建模。渐进式训练技术的运用，使得模型能够生成具有明显运动特征、连贯且高质量的长时间视频。

D-ID最近发布了AI Video Translate，一款创新的AI视频翻译工具，能够将视频内容翻译成多种语言，并克隆讲述者的声音，调整口型以确保翻译内容与画面完美契合。该工具支持29种语言的批量渲染，具备用户友好的界面，使得任何人都能轻松使用。D-ID通过这一技术，帮助客户在全球范围内推广营销、娱乐和社交媒体活动，节省了本地化成本。这项技术的推出对小型创作者特别有帮助，让他们能够接触到更广泛的观众群体。AI技术在翻译和声音克隆方面不断进步，为视频内容的全球化推广提供了新途径。D-ID的AI Video Translate工具将通过其平台D-ID Studio及API提供，且为订阅用户提供免费试用。对于使用该工具时，视频长度应在10秒至5分钟之间，文件大小不超过2GB，并要求视频中只包含一位面向镜头、面部始终可见的讲述者，以确保最佳效果。