在当今数字时代，图像生成技术正以惊人的速度发展。最近，来自新加坡国立大学的研究团队提出了一种全新的框架 ——OminiControl，旨在提升图像生成的灵活性和效率。该框架通过结合图像条件，充分利用已经训练好的扩散变换器（Diffusion Transformer，简称 DiT）模型，带来了前所未有的控制能力。简单的说，只要提供素材图，利用OminiControl就能将素材图中的主题融入到生成的图片中。比如小编上传了左边的素材图，输入提示词“芯片人放置在一个医生办公室的桌子旁边，桌子上放着听诊器

智谱AI公司开源了视频生成模型CogVideoX-5B，显著提升了视频生成的质量、视觉效果和推理性能。新模型兼容较低配置的GPU，如早期的GTX1080Ti和桌面端的RTX3060。这款基于大规模DiT模型的工具，采用3D因果变分自编码器和专家变换器技术，通过3D-RoPE位置编码与3D全注意力机制，实现高效文本到视频的生成。详细信息和代码可访问指定链接。

上海科技大学科学家开发了CLAY，一款AI模型，能从文字或2D图像生成详细3D物体，质量、多样性和生成速度均优于前代技术。CLAY核心包括一个多分辨率变分自编码器和扩散变换器，能直接处理3D内容，无需转换。通过训练超过50万种3D模型，CLAY能生成从日常物品到复杂生物的物体，并通过额外输入实现精确控制，生成城市场景及从草图重建3D模型。在与Shap-E、DreamFusion、Wonder3D等系统比较中，CLAY在一致性、细节精细度和生成速度方面表现出优势。CLAY在游戏、电影制作和3D打印领域有广泛应用前景，其生成质量高，速度惊人。