Nvidia研究团队利用模型剪枝和蒸馏技术，成功推出Llama-3.1-Minitron4B，这是Llama3模型的压缩版本，旨在实现设备上的人工智能。该模型通过深度剪枝和宽度剪枝技术，减少了原始8B模型的参数量，同时保持了与更大模型相近的性能。在训练数据量大幅减少（40倍）的情况下，该模型在MMLU基准测试中的性能提升了16%。该成果通过NVIDIA的NeMo-Aligner进行微调，适用于指令跟随、角色扮演、检索增强生成（RAG）和函数调用等任务。宽度剪枝版本已发布于Hugging Face平台，支持商业使用，为用户和开发者提供高效、性能卓越的模型选择。

英伟达(NVIDIA)近期推出Minitron系列小型语言模型，包含4B和8B版本，显著提升训练速度至40倍，并大幅降低资源和数据需求，实现成本节省。通过结合“修剪”和“知识蒸馏”技术，Minitron模型在保持性能的同时，缩小规模，使得开发者能以更低成本利用先进技术进行翻译、情感分析和对话AI等应用。Minitron模型的开源，让更多人能轻松获取和使用，加速AI技术的普及。