Stable Diffusion 等模型的出现标志着图像生成领域取得了重大进展，但其与自回归语言模型的根本区别，阻碍了统一的语言视觉模型的开发。为解决这一问题，研究人员推出了 Meissonic，它将非自回归掩码图像建模 （MIM） 文本到图像技术提升到了与 SDXL 等最先进的扩散模型相媲美的水平。Meissonic 的核心在于一系列架构创新、先进的位置编码策略以及优化的采样条件，这些改进显著提高了 MIM 的性能和效率。此外，Meissonic 还利用了高质量的训练数据，集成了基于人类偏好分数的微条件，并采用

Stability AI近日推出了其最新的深度学习文本到图像生成模型 ——Stable Diffusion3.5。这一版本包括三种改进的开源模型，旨在满足不同用户的需求，包括研究人员、企业客户和爱好者。其中，Stable Diffusion3.5Large 是整个系列中最强大的模型，参数高达81亿。该模型以其卓越的图像质量和对提示的高度响应能力，成为专业用户的理想选择，能够生成分辨率达到1兆像素的高质量图像。此外，Stable Diffusion3.5Large Turbo 是 Stable Diffusion3.5Large 的简化版。它在生成高质量图像的同时，极大地提升了速度，仅

迪士尼的研究团队最近推出了一种全新的图像压缩方法，利用开源的 Stable Diffusion V1.2模型，这种方法可以在比竞争对手更低的比特率下生成更真实的图像。这种新方法被称为 “编解码器”，尽管它比传统的 JPEG 和 AV1编解码器复杂得多，但其性能却令人惊叹。该研究表明，新方法在图像细节的恢复上表现得更为出色，同时所需的训练成本也大大降低。研究人员发现，量化误差（图像压缩中的核心过程）与噪声(扩散模型中的核心过程)非常相似，因此可以将传统量化图像视为原始图像的噪声

Stability AI再次突破技术壁垒，推出全新Stable Diffusion3.5Medium模型。这款面向大众的AI绘画工具不仅完全免费开放商用，更重要的是实现了高性能与普及性的完美平衡。这款采用多模态扩散变换器（MMDiT-X）架构的模型，以25亿参数的精简设计，巧妙解决了普通用户的硬件门槛问题。仅需9.9GB显存，便能在大多数消费级显卡上流畅运行，真正实现了"人人可用"的愿景。在技术创新方面，该模型整合了三种预训练文本编码器，并引入QK标准化技术提升训练稳定性。特别值得一提的是，其前12个变换层

近日，北京人工智能学院的研究团队推出了一款名为 OmniGen 的全新图像生成模型。全能型图片生成编辑选手与以往的图像生成工具如 Stable Diffusion ，OmniGen 最大的亮点是，它不再只是专注于单一任务，它具备了多种能力:能在一个统一的框架下处理多种图像生成任务能:包括从文本到图像生成、图像编辑，可以说是个全能选手。这意味着，用户只需提供简单提示词，就能控制图像生成与精细编辑，而不再需要再使用 ControlNet、IP-Adapter 这样的插件对图片进行细节调整!OmniGen 的架构非常简化。与

谷歌 DeepMind 联合麻省理工学院（MIT）近日发布了一项重大研究成果。研究团队开发的新型自回归模型"Fluid"在文本到图像生成领域取得了突破性进展，该模型在扩展到105亿参数规模后，性能表现出色。这项研究颠覆了业界普遍认知。此前，自回归模型虽然在语言处理领域占据主导地位，但在图像生成方面一直被认为不如 Stable Diffusion 和 Google Imagen3等扩散模型。研究人员通过创新性地引入两个关键设计因素，显著提升了自回归模型的性能和可扩展性:采用连续型词元替代离散型词元，以及引入

昨日晚间，Stability AI发布了其最强大的模型——Stable Diffusion3.5，这不仅是一个单一的模型，而是一个包含三个版本的全家桶，旨在满足从科研人员到业务爱好者、初创公司和企业的多样化需求。这三个版本分别是Stable Diffusion3.5Large、Stable Diffusion3.5Large Turbo和即将于10月29日发布的Stable Diffusion3.5Medium。

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型

近日，人工智能公司 Stability AI 宣布，著名导演詹姆斯・卡梅隆将加入其董事会。这一消息无疑在影视行业引发了巨大的轰动。大家都知道，卡梅隆执导过《阿凡达》《终结者《泰坦尼克号》等经典影片，他的加盟被认为是 Stability AI 的一次重大胜利。Stability AI 是一家专注于图像和视频生成的人工智能公司，最著名的产品是 Stable Diffusion 这一文本到图像的生成模型。该公司在好莱坞特别受到关注，尤其是在视觉效果行业。值得一提的是，Stability AI 的首席执行官 Prem Akkaraju 曾是知名视觉特效

据报道，Reddit用户一直在为一个假的、人工智能生成的女人的裸照付费。这些照片由人工智能工具 Stable Diffusion 创建，外观极为真实，令人难以分辨。几个月前，这些图像首次出现在多个 Reddit 论坛上，引起了不少用户的关注和评论。Stable Diffusion生成的美女照片一位用户甚至在看到 Claudia 的照片后留言:“你真美!” 还有人表示:“哇，真是太漂亮了!”尽管有一些用户开始怀疑这些照片的真实性，认为看起来太过处理过，但仍有不少人沉迷于这位 “美女” 的魅力。一位知情用户在评论中提醒

德国研究机构LAION创建并发布了新数据集Re-LAION-5B，声称已清除疑似儿童性虐待材料（CSAM）链接。该数据集是旧数据集LAION-5B的修复版，采纳了互联网观察基金会、人权观察、加拿大儿童保护中心和斯坦福互联网观察站的建议。Re-LAION-5B分为两个版本：Research和Research-Safe，后者额外删除了NSFW内容。数据集旨在支持Stable Diffusion等生成式AI模型的训练，且不包含图像，仅提供图像链接和替代文本的索引。Re-LAION-5B的发布前，斯坦福互联网观察站发现LAION-5B包含非法图片链接，且数据集中可能存在不当内容。LAION已暂时下线原数据集，并承诺删除已知违规链接。新数据集包含约55亿个文本图像对，根据Apache2.0许可发布。LAION强调数据集用于研究而非商业目的，并鼓励使用元数据清理现有副本。

Runway从Hugging Face平台秘密删除了包括Stable Diffusion v1.5在内的代码库，这一举动在科技界引起了广泛关注。删除行为未通知Hugging Face或社区成员，导致依赖这些资源的开发者和研究者陷入困扰。Stable Diffusion v1.5曾是Runway参与的研究项目，并在相关论文中占有重要位置。然而，这一版本因版权问题最终被要求下架。面对争议，Runway CEO/联合创始人表示发布该版本是合理的，强调了研究的作者包括Runway ML和慕尼黑大学成员，并强调相关研究和代码已开源。除了开源项目，Runway还推出了Gen-3Alpha视频方案，显示了公司在视频技术领域的探索。外界对删除行为的猜测包括版权问题和市场压力，如竞争对手Cog-5B的崛起。

贾佳亚团队开发的ControlNeXt是一个开源的图像/视频生成引导工具，旨在简化AI模型的使用过程。该工具体积小巧，与Stable Diffusion家族的模型如SDXL、SD1.5兼容，支持多种控制模式，如边缘引导、姿势控制、遮罩和景深控制。其“减肥秘诀”在于采用了更高效的结构，将“大胃王”控制分支替换为由少量ResNet块组成的“轻食套餐”，使模型体积减少到原来的十分之一，同时保持强大的控制能力。ControlNeXt在生成速度上表现出色，仅增加10.4%的延时，远低于ControlNet的41.9%。此外，它通过交叉归一化技术优化特征分布，提高模型的适应性和控制效果。此工具不仅提升了AI艺术创作的灵活性和效率，还能创造出风格多样的跨次元角色，为AI艺术领域带来新的突破。

ViPer是一种个性化图像生成工具，旨在与用户互动以学习并应用其艺术喜好，类似于Midjourney。通过分析用户对图像的评论，ViPer识别出如“柔和的颜色”、“朦胧的光线”、“梦幻氛围”等偏好，并在生成新图像时作为指导原则，避免用户不喜欢的元素。这使得ViPer能够创造出符合用户审美、体现个性化风格的图像，为用户提供独特的艺术创作体验。在线体验地址为：https://huggingface.co/spaces/EPFL-VILAB/ViPer。

谷歌研究团队发布了一项名为Alchemist的突破性技术，该技术允许用户精确编辑图片中物品的材质属性，如颜色、光泽度和透明度，无需专业软件或技能。核心是“文本到图像”（Text-to-Image）生成模型，通过微调和创建合成数据集（包含3D模型、不同材质、相机角度和光照条件），模型学会仅改变指定材质属性，同时保持形状和光照不变。实验显示，该技术在照片真实感和用户偏好方面优于基线方法，应用广泛，如室内设计、3D任务（如NeRF重建），并有望简化复杂材质编辑过程，对创意产业产生深远影响。

斯坦福大学和加州大学伯克利分校的研究人员进行了一项实验，探索让AI图像生成模型使用自己生成的图像进行再训练的后果。实验使用了Stable Diffusion（SD）模型，并从FFHQ人脸数据集中选取了高质量人脸图像进行自动生成。结果显示，AI模型在经过再训练后，产生了高度扭曲的图像，这种扭曲不仅源自用于再训练的文本提示，即使之后仅使用真实图像进行再训练，模型也难以完全恢复。实验发现，生成图像的质量急剧下降，即使再训练数据集中自生成图像的比例低至3%，模型崩溃的现象依然存在。研究揭示了AI系统对数据“污染”的高度敏感性，强调了AI生成内容处理和数据集管理的潜在风险与挑战。