腾讯混元文生图大模型(HunyuanDiT)近日联合社区发布了三款新的可控制插件ControlNet,分别为tile(高清放大)、inpainting(图像修复与扩充)和lineart(线稿生图),进一步扩展了其ControlNet矩阵。这些插件的加入,使得混元DiT模型能够覆盖更广泛的应用场景,包括美术、创意、建筑、摄影、美妆和电商等80%的案例和场景,为全球企业和个人开发者、创作者提供了更精准的图片生成和更大自由度的创作能力。

Tile插件能够为画面扩充信息,实现超清放大,甚至达到4K至8K的清晰度,适合对图片细节有极致追求的场景。Inpainting插件则能够根据创作者的需求填充图片中的涂抹和斑驳部分,实现背景更换、人物主体改变等效果,处理大面积的图像重绘。Lineart插件则利用不同线条类型创作真人、动漫和建筑图片,适用于建筑效果图生成和手稿上色。

微信截图_20240815135451.png

此外,腾讯混元DiT此前已发布canny(边缘)、depth(深度)、pose(人体姿势)等条件的ControlNet模型,支持开发者进行推理,并开源了ControlNet的训练方案,使开发者和创作者能够训练自定义的ControlNet模型。

自5月宣布全面升级并开源以来,混元DiT作为业内首个中文原生的DiT架构文生图开源模型,持续建设开发者生态,发布了专属加速库,提升了推理效率,缩短了生图时间,并进一步开源了推理代码。7月,混元DiT升级至1.2版本,开源了小显存版本,仅需6G显存即可运行,对个人电脑本地部署的开发者更为友好。

目前,混元DiT在Github上的Star数已超过3.1k,成为最受欢迎的国产DiT开源模型。

官网

https://dit.hunyuan.tencent.com/

代码

https://github.com/Tencent/HunyuanDiT

模型

https://huggingface.co/Tencent-Hunyuan/HunyuanDiT

论文

https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdf