扩散模型（Diffusion Model）作为AI绘画领域的"顶流"技术，一直以其卓越的生成效果备受瞩目。然而，其漫长的训练过程一直是制约其进一步发展的瓶颈。近日，一项名为REPA（REPresentation Alignment）的创新技术为解决这一问题带来了突破性进展，有望将扩散模型的训练效率提升17.5倍。扩散模型的核心原理是通过逐步向图像添加噪声，然后训练模型反向还原出清晰图像的过程。这种方法虽然效果显著，但训练过程耗时耗力，往往需要数百万步的迭代才能达到理想效果。研究人员发现，这一问题的

英伟达开源了两款新型大模型Nemotron-4-Minitron-4B和Nemotron-4-Minitron-8B，采用结构化剪枝和知识蒸馏高效训练方法，显著降低训练需求，减少数据和算力消耗。与传统方法相比，新模型的训练token数据减少40倍，算力成本节省1.8倍。通过优化Llama-3.18B，结构化剪枝简化模型结构，知识蒸馏提升性能，Minitron-4B和Minitron-8B在MMLU上的评分提升16%，性能媲美Mistral7B等知名模型。这一开源举措展示了英伟达在AI领域的领导地位，并为AI社区提供了宝贵资源，推动AI技术向更高效、更智能方向发展。

北大和香港科技大学的团队搞了个大新闻，他们提出了一种训练方法，让8B尺寸的医疗专家模型达到了GPT-4级的性能。这可不是小打小闹，他们还引入了一个新概念——「稳定性差距」，来解释大语言模型在持续预训练过程中出现的一些现象。

["研究团队提出全新训练方法，增强DALL-E3的图像生成能力。","方法结合了合成标题和真实标题，解决了空间感知和文本呈现问题。","高级语言模型如GPT-4在提高文本质量和深度方面发挥关键作用。","研究展示了DALL-E3在图像生成质量和准确性方面的显著改进。","这一策略为未来文本到图像生成技术的持续发展奠定基础。"]