搜索全球AI产品动态

人工智能领域再添一颗耀眼新星!近日，华为诺亚方舟实验室与香港大学自然语言处理组（HKU NLP Group） 联合发布了名为 Dream7B 的全新语言模型。这款模型被誉为“迄今为止最强大的开源扩散大型语言模型”。Dream7B 的问世，不仅在性能上超越了现有的扩散语言模型，更在通用能力、数学、代码以及规划能力上，比肩甚至超越了同等规模的顶尖自回归（AR）语言模型。这一突破性的进展，预示着文本生成领域或将迎来新的技术范式。颠覆传统:扩散模型赋能更强语言理解与生成长期以来，以 GP

当代码的力量遇上艺术的灵感，新一代人工智能正在悄然改变创意世界的边界。近日，国产开源图像生成模型HiDream-I1震撼发布，凭借17亿参数的技术底蕴，这款由HiDream-ai团队倾力打造的AI"画匠"正迅速成为科技圈新宠。这款基于扩散模型技术的开源图像生成工具，能够将文本描述转化为高质量图像，在细节渲染和图像一致性方面展现出令人瞩目的实力。初步测试显示，HiDream-I1在色彩还原、边缘处理和构图完整性上表现不俗，特别是面对复杂场景和多样化风格时，依然能够生成清晰且富有艺

在人工智能绘画领域，扩散模型（Diffusion Model）正经历从基于Unet架构向基于Transformer架构(DiT)的转变。然而，DiT生态系统在插件支持、效率以及多条件控制等方面仍面临挑战。近日，由Xiaojiu-z领衔的团队推出了名为EasyControl的创新框架，旨在为DiT模型提供高效且灵活的条件控制能力，犹如为DiT模型装上了强大的“ControlNet”。EasyControl的核心优势EasyControl并非简单的模型叠加，而是一套经过精心设计的统一条件DiT框架。其核心优势在于通过引入轻量级的条件注入LoRA模块（Condition Injection LoRA mod

在人工智能视频生成领域，扩散模型以其卓越的性能备受瞩目。然而，其固有的迭代去噪特性导致生成过程耗时且计算成本高昂，成为制约其广泛应用的关键瓶颈。近日，来自B北京航空大学、香港大学和上海人工智能实验室的研究团队联合发布了一项名为 AccVideo 的创新技术。该方法通过一种新颖高效的蒸馏方法，并结合合成数据集，成功将视频扩散模型的生成速度提升了惊人的8.5倍。现有的视频扩散模型在生成高质量视频方面表现出色，但其迭代式的去噪过程需要大量的推理步骤。这意

2025年3月10日，一项名为 TrajectoryCrafter 的前沿技术正式亮相，引发了科技界和视频创作领域的广泛关注。这项基于扩散模型（diffusion models）的创新技术，能够从单一视角的单目视频中推断并生成全新的视角，为视频后期制作带来了革命性的可能性。TrajectoryCrafter 的核心在于其强大的视角重定向能力。传统的单目视频受限于单一相机视角，创作者往往无法在后期调整拍摄角度或运镜方式。而 TrajectoryCrafter 通过扩散模型的深度学习技术，能够分析视频内容并推演出三维空间信息，从而允许用户

近日，开发者 scraed 在 GitHub 上发布了 LanPaint，一个无需额外训练的图像修复工具。该工具旨在帮助用户在任何稳定扩散模型（SD）上实现高质量的图像修复效果，甚至包括用户自己训练的自定义模型。LanPaint 通过多次迭代让模型在去噪之前 “思考”，从而获得更为无缝和准确的修复结果。LanPaint 的主要特点之一是零训练修复。用户可以立即在任何 SD 模型上使用该工具，无需进行繁琐的训练过程。此外，LanPaint 的集成十分简单，用户可以像使用标准的 ComfyUI KSampler 一样进行操作，流畅的工

还在对着音乐软件 “抠脚” 编曲? OUT 啦! 音乐创作领域迎来 “核爆级” 突破! 全球首个基于扩散模型的端到端音乐模型 DiffRhythm 横空出世， 直接把音乐创作的门槛 “夷为平地”! 你只需要 “动动嘴皮子”， 输入歌词和风格，10秒钟后， 一首包含 人声和伴奏 的完整歌曲就 “新鲜出炉”! DiffRhythm 这次是真的 “放大招” 了! 它彻底颠覆了传统的音乐创作模式， 实现了 端到端自动生成完整歌曲， 全程 无需任何人工干预! 你不再需要像 “老黄牛” 一样 “吭哧吭哧” 地编曲、 混音， 只需简

近年来，图像重光照技术的进步得益于大规模数据集和预训练的扩散模型，使得一致性光照的应用变得更加普遍。然而，在视频重光照领域，由于训练成本高昂以及缺乏多样化和高质量的视频重光照数据集，进展相对缓慢。仅仅将图像重光照模型逐帧应用于视频，会导致多种问题，如光源不一致和重光照外观不一致，最终导致生成的视频出现闪烁现象。为了解决这一问题，研究团队提出了 Light-A-Video，这是一种无需训练的、能够实现时间上平滑视频重光照的方法。Light-A-Video 借鉴了图像重光

来自纽约大学、麻省理工学院和谷歌的研究团队近日提出了一个创新框架，旨在解决扩散模型在推理时间扩展方面的瓶颈问题。这一突破性研究超越了传统简单增加去噪步骤的方法，为提升生成模型性能开辟了新途径。该框架主要从两个维度展开:一是利用验证器提供反馈，二是实施算法以发现更优的噪声候选。研究团队以256×256分辨率的预训练SiT-XL模型为基础，在保持250个固定去噪步骤的同时，创新性地引入了专用于搜索操作的额外计算资源。在验证系统方面，研究采用了两个Oracle Verifie

在游戏开发领域，场景的多样性和创新性一直是一个难题。近期，香港大学与快手科技联手研发了一个名为 GameFactory 的创新框架，旨在解决游戏视频生成中的场景泛化问题。这一框架利用了预训练的视频扩散模型，能够在开放域的视频数据上进行训练，从而生成全新且多样化的游戏场景。视频扩散模型作为一种先进的生成技术，近年来在视频生成和物理模拟领域展现出巨大潜力。这些模型能够像视频生成工具一样，响应用户的操作输入，如键盘和鼠标，进而生成相应的游戏画面。然而，场

微软研究院推出了一款名为 MatterGen 的强大人工智能系统，该系统能够生成具有特定性质的新材料，可能会加速电池、太阳能电池板等关键技术的开发。MatterGen 的推出标志着科学家们发现新材料的方法发生了根本性的变化。与传统方法不同，MatterGen 不再是筛选数百万个现有化合物，而是根据所需特性直接生成新材料，类似于 AI 图像生成器通过文本描述创建图片的方式。MatterGen 使用了一种特殊的 AI 模型，称为扩散模型，类似于 DALL-E 等图像生成器，但经过调整以适用于三维晶体结构。该系

近日，一项名为 MangaNinja 的线稿上色方法引起了广泛关注，只需输入线稿和参考图，就能依据参考图给目标线稿上色。这项技术基于扩散模型，专注于参考图像引导的线稿上色，极大地提升了上色的精准度和互动控制能力。研究团队通过两项创新设计，确保了角色细节的精确传递。首先，他们引入了一个补丁重排模块，以促进参考彩色图像与目标线稿之间的对应学习。其次，采用了点驱动的控制方案，使得用户可以对颜色进行精细匹配。在他们的实验中，研究人员构建了一个自收集的基准

长期以来，如何仅凭单张图像高效生成高质量、广阔视角的3D场景一直是研究人员面临的挑战。传统方法往往依赖多视角数据，或需要耗时的逐场景优化，并且在背景质量和未见区域的重建上存在不足。现有技术在处理单视图3D场景生成时，常因信息不足而导致遮挡区域的错误或扭曲，背景模糊，以及难以推断未见区域的几何结构。而基于回归的模型虽然可以前馈方式进行新视角合成，但它们在处理复杂场景时面临巨大的内存和计算压力，因此大多局限于物体级别的生成或窄视角场景。为了

近日，字节跳动发布了名为 LatentSync 的新型口型同步框架，旨在利用音频条件潜在扩散模型实现更精确的口型同步。该框架基于Stable Diffusion，针对时间一致性做了优化。与以往的基于像素空间扩散或两阶段生成的方法不同，LatentSync 采用端到端的方式，无需中间运动表示，能够直接建模复杂的音频与视觉之间的关系。在 LatentSync 的框架中，首先使用 Whisper 将音频频谱图转换为音频嵌入，并通过交叉注意力层将其集成到 U-Net 模型中。框架通过将参考帧和掩码帧与噪声潜在变量进行通道级拼接

近日，阿里巴巴达摩院的研究团队发布了一项重要研究成果，名为 “SHMT:自监督层次化妆转移”，该论文已被国际顶级学术会议 NeurIPS2024接收。这项研究展示了一种新的化妆效果转移技术，利用潜在扩散模型（Latent Diffusion Models）来实现化妆图像的精准生成，为化妆应用和图像处理领域注入了新活力。简单的说，SHMT是一项妆容迁移技术，只要一个化妆的参考图，和一张目标角色照片，就可以把妆容效果迁移到该目标脸上。团队在项目中采用了开源的方式，发布了训练代码、测试代码以及预

在人工智能领域，字节跳动商业化技术团队的最新成果Infinity模型，以其卓越的性能和创新的技术，成为自回归文生图领域的新王者。这款新开源的模型不仅在图像生成质量上超越了Stable Diffusion3，还在推理速度上展现了显著优势。Infinity模型的核心创新在于采用了Bitwise Token的自回归框架，这一框架通过预测下一级分辨率的+1或-1构成的细粒度“Bitwise Token”，显著提升了模型对高频信号的捕捉能力，从而生成细节更加丰富的图像。此外，Infinity模型将词表扩展到无穷大，极大地增强了Image tok

近日，研究人员开发了一种创新的人工智能系统——DiffSensei，能够自动将书面故事转换成漫画风格。这一系统不仅可以保持角色外观的一致性，还能控制漫画页面的布局，展现了AI在漫画创作领域的巨大潜力。该项目是由北京大学、上海人工智能实验室和南洋理工大学联合研发的，结合了扩散模型与大型语言模型，旨在处理漫画创作中的视觉和叙事元素。为了展示DiffSensei的功能，研究团队创作了一部虚构漫画，讲述了人工智能领域先驱杰弗里·辛顿、扬·勒昆和约书亚·本吉奥的故事。漫画

在文本生成图像的领域，扩散模型展现出了非凡的能力，但在美学图像生成方面仍存在一定的不足。最近，来自字节跳动和中国科学技术大学的研究团队提出了一种名为 “Cross-Attention Value Mixing Control”（VMix）适配器的新技术，旨在提升生成图像的质量，并保持对各种视觉概念的通用性。VMix 适配器的核心思想在于，通过设计优越的条件控制方法，增强现有扩散模型的美学表现，同时确保图像与文本之间的对齐。该适配器主要通过两个步骤实现其目标:首先，它通过初始化美学嵌入，将输入

还在为模糊不清的照片烦恼吗?一款名为InvSR的全新图像超分辨率工具横空出世，它能以极简的处理步骤，让图像瞬间变得清晰锐利。这款工具的强大之处在于，它利用了大型预训练扩散模型中蕴藏的丰富图像先验知识，实现了高效且高质量的图像分辨率提升。InvSR的核心技术在于其创新的部分噪声预测策略。它巧妙地构建了扩散模型的中间状态，作为采样过程的起始点，并利用一个深度噪声预测器来估计正向扩散过程中的最佳噪声图。经过训练，这个噪声预测器能够精准地在扩散轨迹上初

在视频分析领域，物体的持久性是人类理解物体即使在完全遮挡情况下依然存在的重要线索。然而，目前的物体分割方法大多只关注可见（模态）物体，而缺乏对无模态(可见 + 不可见)物体的处理。针对这一问题，研究人员提出了一种基于扩散先验的两阶段方法Diffusion-Vas，旨在提升视频无模态分割和内容补全的效果，能追踪视频中的指定目标，然后利用扩散模型补全被遮挡的部分。该方法的第一阶段涉及生成物体的无模态掩码。研究人员通过将可见掩码序列与伪深度图结合，来推断物体边