zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-08-16 09:26:00
.
AIbase
.
11.1k
英伟达开源新突破:新模型训练算力节省1.8倍!
英伟达开源了两款新型大模型Nemotron-4-Minitron-4B和Nemotron-4-Minitron-8B,采用结构化剪枝和知识蒸馏高效训练方法,显著降低训练需求,减少数据和算力消耗。与传统方法相比,新模型的训练token数据减少40倍,算力成本节省1.8倍。通过优化Llama-3.18B,结构化剪枝简化模型结构,知识蒸馏提升性能,Minitron-4B和Minitron-8B在MMLU上的评分提升16%,性能媲美Mistral7B等知名模型。这一开源举措展示了英伟达在AI领域的领导地位,并为AI社区提供了宝贵资源,推动AI技术向更高效、更智能方向发展。