站长之家(ChinaZ.com)6月21日 消息:腾讯混元文生图大模型(混元 DiT 模型)宣布全面开源训练代码,包括 LoRA 插件和 ControlNet 插件。

LoRA 是一种用于微调大型语言模型的技术,可以在不修改原有模型或增加模型大小的情况下,利用少量数据训练出具有特定特征的模型。

微信截图_20240621114949.png

ControlNet 是一种可控化生成算法,允许用户通过添加额外条件来更好地控制图像生成。腾讯混元提供了三个首发 ControlNet 模型,可以提取与应用图像的边缘、深度和人体姿势等条件。

此外,混元 DiT 发布了专属加速库,提升推理效率并简化使用方式。混元 DiT 已被广泛用于素材创作、商品合成、游戏出图等多个领域,包括腾讯广告妙思平台和多家媒体使用混元 DiT 模型进行内容生成。

官网:

https://dit.hunyuan.tencent.com/

代码:

https://github.com/Tencent/HunyuanDiT

模型:

https://huggingface.co/Tencent-Hunyuan/HunyuanDiT

论文:

https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdf

数据制作流程:

https://github.com/Tencent/HunyuanDiT/blob/main/IndexKits/docs/MakeDataset.md