英伟达开源了两款新型大模型Nemotron-4-Minitron-4B和Nemotron-4-Minitron-8B，采用结构化剪枝和知识蒸馏高效训练方法，显著降低训练需求，减少数据和算力消耗。与传统方法相比，新模型的训练token数据减少40倍，算力成本节省1.8倍。通过优化Llama-3.18B，结构化剪枝简化模型结构，知识蒸馏提升性能，Minitron-4B和Minitron-8B在MMLU上的评分提升16%，性能媲美Mistral7B等知名模型。这一开源举措展示了英伟达在AI领域的领导地位，并为AI社区提供了宝贵资源，推动AI技术向更高效、更智能方向发展。

北大和香港科技大学的团队搞了个大新闻，他们提出了一种训练方法，让8B尺寸的医疗专家模型达到了GPT-4级的性能。这可不是小打小闹，他们还引入了一个新概念——「稳定性差距」，来解释大语言模型在持续预训练过程中出现的一些现象。

["研究团队提出全新训练方法，增强DALL-E3的图像生成能力。","方法结合了合成标题和真实标题，解决了空间感知和文本呈现问题。","高级语言模型如GPT-4在提高文本质量和深度方面发挥关键作用。","研究展示了DALL-E3在图像生成质量和准确性方面的显著改进。","这一策略为未来文本到图像生成技术的持续发展奠定基础。"]