在大模型（Large Language Model，LLM）快速发展的今天，模型的训练和推理成本日益成为研究和应用的关注焦点。最近，腾讯混元团队发布了一项重要研究，深入探讨了低比特浮点量化训练的 “Scaling Laws”，即浮点数量化训练的规模法则。此项研究的核心在于通过降低模型的精度，探索如何在不损失性能的情况下，显著降低计算和存储成本。研究团队进行了多达366组不同参数规模和精度的浮点数量化训练，系统分析了影响训练效果的多种因素，包括模型大小（N）、训练数据量(D)、指数位(E)、尾

Meta Platforms今日发布其Llama模型的全新精简版本，包括Llama3.21B和3B两款产品，首次实现了大规模语言模型在普通智能手机和平板电脑上的稳定运行。通过创新性地整合量化训练技术与优化算法，新版本在保持原有处理质量的同时，将文件体积缩减56%，运行内存需求降低41%，处理速度更是提升至原版4倍，单次可连续处理8，000字符文本。在 Android 手机上进行测试时，Meta 的压缩 AI 模型（SpinQuant 和 QLoRA）与标准版本相比，速度和效率都有显著提升。较小的模型运行速度提高了四倍，而内存占用却