文本驱动的风格转换是图像合成领域的一项重要任务，旨在将参考图像的风格与文本提示所描述的内容相融合。 近期，文本到图像生成模型取得了显著进展，能够实现更精细的风格转换，同时保持内容的高保真度。这项技术在数字绘画、广告和游戏设计等领域具有巨大的实用价值。然而，现有的风格转换技术仍存在一些不足之处，主要挑战包括:风格过拟合:现有模型倾向于复制参考图像的所有元素，导致生成图像过于贴近参考风格图像的特征，限制了生成图像的审美灵活性和适应性。文本

英伟达与麻省理工学院、清华大学的研究人员合作开发了一款名为Sana的全新文本到图像生成框架，该框架能够高效生成高达4096×4096分辨率的图像。Sana可以在极快的速度下合成高分辨率、高质量且与文本高度一致的图像，甚至可以在笔记本电脑的GPU上运行。Sana 的核心设计包括:深度压缩自动编码器: 与传统的自动编码器仅压缩图像8倍不同，Sana 训练的自动编码器可以将图像压缩32倍，有效减少了潜在标记的数量。线性 DiT: Sana 将 DiT 中所有普通的注意力机制替换为线性注意力机制，这在高分

近日，阿里妈妈创意团队发布了 FLUX.1-Turbo-Alpha，这是基于 FLUX.1-dev 模型训练的一款8步蒸馏 Lora 模型。该模型采用了多头判别器，显著提高了蒸馏的质量，支持文本到图像生成、修复控制网等多种 FLUX 相关的应用。团队建议在使用时将引导尺度设置为3.5，Lora 尺度为1，未来还会推出更低步数的版本。FLUX.1-Turbo-Alpha 可以直接与 Diffusers 框架结合使用。用户只需通过几行代码便能加载模型并生成所需的图像。例如，你可以创建一个有趣的场景:一只微笑的树懒穿着皮夹克、牛仔帽、格子裙和蝴蝶

Stability AI 与亚马逊网络服务 (AWS) 合作，引入三款全新文本到图像生成模型至 Amazon Bedrock 服务，以提升商业定位和市场竞争力。这三款模型——Stable Image Ultra、Stable Diffusion3Large 和 Stable Image Core——分别针对不同需求，提供从高质量图像生成到快速大批量图像生产，以及更经济的选择，满足市场营销、广告和设计行业等不同场景。其中，Stable Image Ultra 作为旗舰产品，专为需要极高视觉效果的行业设计，如市场营销和建筑设计。Stable Image Core 则提供经济实惠的选择，适合一般需求。Stability AI 通过这些合作和新模型的引入，旨在扩展市场渠道，通过会员模式和 Stable Assistant 聊天机器人提供服务，并考虑通过云服务提供商、系统集成商和其他模型服务提供商扩大模型的可及性。在经历领导层变动后，Stability AI 正寻求新的增长机会。

2024年8月21日，Ideogram团队隆重发布了其最新版本的文本到图像模型——Ideogram2.0。这一重磅更新不仅为用户带来了免费的使用权限，更引入了一系列创新功能和工具，标志着文本到图像技术的一次重大飞跃。

谷歌研究团队发布了一项名为Alchemist的突破性技术，该技术允许用户精确编辑图片中物品的材质属性，如颜色、光泽度和透明度，无需专业软件或技能。核心是“文本到图像”（Text-to-Image）生成模型，通过微调和创建合成数据集（包含3D模型、不同材质、相机角度和光照条件），模型学会仅改变指定材质属性，同时保持形状和光照不变。实验显示，该技术在照片真实感和用户偏好方面优于基线方法，应用广泛，如室内设计、3D任务（如NeRF重建），并有望简化复杂材质编辑过程，对创意产业产生深远影响。

英国人工智能初创公司 Stability AI 已任命 Prem Akkaraju 为新任首席执行官。Akkaraju 此前曾担任视觉特效公司 Weta Digital 的首席执行官，同时也是 Stability AI 的投资者之一。Stability AI 的投资者阵容强大，其中包括前 Facebook 总裁 Sean Parker 等人，总投资金额超过1亿美元。

["Stable Diffusion 3 模型发布","DiT（Diffusion Transformer）架构应用","Stable Diffusion 3 在质量上有显著改进","Stable Diffusion 3 优于其他文本到图像生成系统","Stable Diffusion 3 参数量从 800M 到 8B","SD3 架构基于 Sora 核心研发成员和纽约大学助理教授合作","MMDiT 架构优于 UViT 和 DiT","Stable Diffusion 3 采用 Rectified Flow（RF）公式","作者提出的重新加权 RF 变体性能持续提高","Stable Diffusion 3 模型进行了扩展研究","作者利用灵活的文本编码器进行改进","Stable Diffusion 3 与其他模型进行了性能比较"]

["Stable Diffusion 3是一款最强的文生图模型","Stable Diffusion 3采用了MMDiT架构，展现出超越现有文本到图像生成系统的性能","Stable Diffusion 3在视觉美感、文本遵循和排版方面超越了其他先进模型","MMDiT架构结合了DiT和矩形流形式，通过独立的权重集合处理图像和语言表示","Stable Diffusion 3具有灵活性，能在不同硬件设备上快速生成图像，并提供多种模型规模选择","Stable Diffusion 3通过MMDiT架构、Prompt Following功能、Rectified Flow方法等技术实现了改进"]

["iStock 的生成式 AI: Getty Images 和 Nvidia 合作推出 Generative AI by iStock。","面向小中型企业：该平台旨在帮助小中型企业更高效地获取所需的照片，提供个人或单用户的使用方案。","定价法律保障：平台提供 100 次生成的服务售价为 14.99 美元，每次生成四张图片。。"]