Pruna AI 是一家来自欧洲的初创公司，专注于 AI 模型的压缩算法开发。近日，该公司宣布将其优化框架开源，以帮助开发者更高效地压缩和 AI 模型。Pruna AI 开发的框架结合了多种效率方法，包括缓存、剪枝、量化和蒸馏等，旨在提升 AI 模型的性能。该框架不仅标准化了压缩模型的保存和加载，还能对压缩后的模型进行评估，以判断其质量是否显著下降，同时测量压缩带来的性能提升。Pruna AI 的联合创始人兼首席技术官约翰・拉赫万（John Rachwan）表示:“我们的框架类似于 Hugging Face 对 transfo

Nvidia研究团队利用模型剪枝和蒸馏技术，成功推出Llama-3.1-Minitron4B，这是Llama3模型的压缩版本，旨在实现设备上的人工智能。该模型通过深度剪枝和宽度剪枝技术，减少了原始8B模型的参数量，同时保持了与更大模型相近的性能。在训练数据量大幅减少（40倍）的情况下，该模型在MMLU基准测试中的性能提升了16%。该成果通过NVIDIA的NeMo-Aligner进行微调，适用于指令跟随、角色扮演、检索增强生成（RAG）和函数调用等任务。宽度剪枝版本已发布于Hugging Face平台，支持商业使用，为用户和开发者提供高效、性能卓越的模型选择。