在视频分析领域，物体的持久性是人类理解物体即使在完全遮挡情况下依然存在的重要线索。然而，目前的物体分割方法大多只关注可见（模态）物体，而缺乏对无模态(可见 + 不可见)物体的处理。针对这一问题，研究人员提出了一种基于扩散先验的两阶段方法Diffusion-Vas，旨在提升视频无模态分割和内容补全的效果，能追踪视频中的指定目标，然后利用扩散模型补全被遮挡的部分。该方法的第一阶段涉及生成物体的无模态掩码。研究人员通过将可见掩码序列与伪深度图结合，来推断物体边

强化学习在近年来取得了许多成功，但其样本效率低下，限制了其在现实世界中的应用。世界模型作为一种环境生成模型，为解决这一问题提供了希望。它可以作为模拟环境，以更高的样本效率训练强化学习智能体。目前，大多数世界模型通过离散潜变量序列来模拟环境动态。然而，这种压缩成紧凑离散表示的方法可能会忽略对强化学习至关重要的视觉细节。与此同时，扩散模型已经成为图像生成领域的主导方法，挑战了传统的离散潜变量建模方法。受此启发，研究人员提出了一种名为DI

最近的一项研究提出了一种新方法，利用人类注意力来改善人工智能生成的图像质量。该方法使用显著性检测器来识别图像中最重要的区域，并优先考虑这些区域的生成。传统的图像生成方法会统一优化整个图像，而新方法则利用显著性检测器来识别和优先考虑更“重要”的区域，就像人类一样。这种方法可以提高图像质量和文本提示的保真度。研究人员使用了稳定扩散模型和显著性检测器来生成图像，并将其与传统方法进行了比较。结果表明，新方法在图像质量和文本提示的保真度方面

研究人员最近开发了一种名为 REPA 的新技术，旨在加速 AI 图像生成模型的训练速度。REPA 代表 REPresentation Alignment，通过整合来自 DINOv2等模型的高质量视觉表示来提高训练速度和输出质量。传统的扩散模型通常会创建嘈杂的图像，然后逐渐将其细化为干净的图像。REPA 增加了一个步骤，将在此去噪过程中生成的表示与来自 DINOv2的表示进行比较。然后，它将扩散模型的隐藏状态投影到 DINOv2的表示上。研究人员表示，REPA 不仅提高了训练效率，还提高了生成的图像质量。使用各种扩散模型架构

扩散模型（Diffusion Model）作为AI绘画领域的"顶流"技术，一直以其卓越的生成效果备受瞩目。然而，其漫长的训练过程一直是制约其进一步发展的瓶颈。近日，一项名为REPA（REPresentation Alignment）的创新技术为解决这一问题带来了突破性进展，有望将扩散模型的训练效率提升17.5倍。扩散模型的核心原理是通过逐步向图像添加噪声，然后训练模型反向还原出清晰图像的过程。这种方法虽然效果显著，但训练过程耗时耗力，往往需要数百万步的迭代才能达到理想效果。研究人员发现，这一问题的

在2024年火山引擎AI创新巡展上，火山引擎总裁谭待揭晓了最新的豆包·视频生成模型。该模型具备多项先进技术，包括高效的DIT融合计算单元，这一单元能够实现视频和文本的深度压缩编码;同时，它采用了一种全新的扩散模型训练方式，确保了在生成多镜头视频时的一致性;此外，模型还整合了深度优化的Transformer结构，显著增强了视频生成的泛化能力。

DiPIR是一项创新技术，旨在解决虚拟物体无缝插入真实场景的技术难题。它通过结合大规模扩散模型与基于物理的逆向渲染过程，从单一图像中精确恢复场景光照信息，实现虚拟物体与环境自然融合。DiPIR的工作流程包括构建虚拟3D场景、模拟物体与环境交互、通过扩散模型优化光照条件，确保生成图像符合真实场景。其优势在于广泛适用性，适用于不同光照条件的场景，生成图像逼真。DiPIR不仅限于静态图像处理，还支持动态场景中的物体插入及多视角合成，适用于虚拟现实、增强现实、合成数据生成和虚拟制作等领域。

多模态生成模型正引领人工智能新潮流，专注于融合视觉与文本数据，以创造多功能AI系统，执行从图像生成到跨数据类型理解与推理的多种任务。其中，关键挑战是提升自回归（AR）模型能力，使其能根据文本描述生成高细节图像。尽管扩散模型在生成高质量图像方面表现出色，AR模型在图像质量、分辨率灵活性及多任务处理能力上相对滞后。上海AI实验室和香港中文大学的研究人员推出Lumina-mGPT，一种基于解码器-only的变换器架构，采用多模态生成预训练方法，旨在克服AR模型限制，实现与扩散模型同等水平的逼真图像生成，同时保持简便性和可扩展性。Lumina-mGPT采用详尽的灵活渐进的监督微调策略，增强图像生成能力，支持高分辨率图像生成（1024×1024像素），细节丰富且与文本提示高度一致。该模型在图像质量、视觉一致性及多种任务支持方面超越前代模型，仅需较小数据集即可实现卓越性能，预示未来AI系统将更加复杂与多才多艺。

苹果公司近期推出了一种名为Matryoshka Diffusion Models（MDM）的创新图像和视频生成技术，形象地称为"套娃扩散模型"。MDM采用了一种在不同分辨率下同时处理图像的突破性方法，实现了从低清晰度草图到高清晰度细节的无缝生成，其核心技术理念类似于俄罗斯套娃，每个层次都包含一个更小但功能完整的子结构。这种创新方法的核心架构被称为NestedUNet，能够同时驾驭多个分辨率的图像处理，通过在多个分辨率上进行联合去噪，生成的图像细节更加丰富，更具真实感。MDM在高质量图像和视频生成模型中展现出卓越性能，特别是在类条件图像生成、文本到图像和文本到视频的转换应用中。即使在相对有限的数据条件下，MDM也能生成高达1024x1024像素分辨率的图像，具有惊人的零样本泛化能力。未来，MDM有望在虚拟现实、增强现实、电影制作、游戏开发等领域发挥重要作用，为数字创意世界带来新的可能性。

阿尔伯塔大学、多伦多大学与华为诺亚方舟实验室合作开发了一种名为TexGen的新方法，旨在解决3D建模领域生成逼真纹理的难题。这项技术通过文本描述生成相应3D纹理，显著优于现有技术。核心为多视角采样与重采样框架，结合预训练的文本到图像扩散模型。该方法通过维护RGB参数的纹理图，并在每次采样后更新，有效减少了视角间的差异，实现视角一致的纹理生成。引入的注意力引导多视角采样策略和噪声重采样技术，确保了纹理在不同视角下的一致性和细节保留。经过评估，TexGen在纹理质量、视角一致性和外观细节方面超越了当前先进方法，尤其在纹理编辑上表现出色。

Stable-Hair 是一项创新的头发转移技术，旨在解决现有技术在处理多样化和复杂发型时的挑战，为用户提供更佳的虚拟试发体验。该技术通过扩散模型，精准地将各种真实发型转移到用户提供的面部图像上。其工作流程分为两阶段：首先使用“秃头转换器”去除图像中的头发，然后通过“发型提取器”、“潜在身份网”和“头发交叉注意力层”三个独特模块进行发型转移，确保转移效果高度详细且保真度高。实验结果显示，Stable-Hair 在当前方法中表现优异，达到先进水平，显著提升了虚拟试发体验，使用户能轻松尝试不同发型，享受变换的乐趣。

AlphaFold3（AF3）是DeepMind团队的最新增强工具，用于预测蛋白质、核酸和小分子的结构。凭借能够解析单个蛋白质序列及其复合结构的能力，AF3实现了"食谱到三维结构"的转变。其架构由三项核心模块组成：输入准备梳理序列、检索具备相似结构的分子；表示学习运用多层注意力机制更新表征；结构预测通过条件扩散模型实现预测。AF3创造性地将各类分子转化为独特数值张量，仿佛给每个分子一个独一无二的"身份证"，并运用注意力机制捕捉分子间的互相关系。在预测层面，条件扩散模型从随机噪声开始，逐步构建结构预测。训练中多种损失函数和信心评估共同作用，提高了AF3的预测准确性和可靠性，实现自我反省与提升。AF3的可视化指导和先进架构，展示了人工智能在生物学领域预测模型的革命性进步。

​港大与腾讯的研究人员提出了一种全新的多模态推荐系统范式 ——DiffMM，旨在提高短视频推荐的精准度。该系统通过创建一个包含用户和视频信息的图，并利用图扩散和对比学习技术，更好地理解用户和视频之间的关系，从而实现更准确的推荐。

在最新的研究中，一项名为Flash Diffusion的新方法为图像生成技术带来了革命性的突破。该方法通过训练预测模型以在单个步骤中生成经过去噪的多步骤预测结果，从而加速了预训练扩散模型的生成过程。