Meta Platforms今日发布其Llama模型的全新精简版本，包括Llama3.21B和3B两款产品，首次实现了大规模语言模型在普通智能手机和平板电脑上的稳定运行。通过创新性地整合量化训练技术与优化算法，新版本在保持原有处理质量的同时，将文件体积缩减56%，运行内存需求降低41%，处理速度更是提升至原版4倍，单次可连续处理8，000字符文本。在 Android 手机上进行测试时，Meta 的压缩 AI 模型（SpinQuant 和 QLoRA）与标准版本相比，速度和效率都有显著提升。较小的模型运行速度提高了四倍，而内存占用却

最近，Meta AI 推出了全新的量化 Llama3.2模型，包含1B 和3B 两个版本，这款模型可以在多种设备上进行微调、蒸馏和部署。过去，虽然像 Llama3这样的模型在自然语言理解和生成方面取得了显著成就，但其庞大的体量和高计算需求使得很多组织难以使用。训练时间长、能源消耗高以及对昂贵硬件的依赖，无疑加大了科技巨头与小型企业之间的鸿沟。Llama3.2的特点之一就是支持多语言文本和图像处理。1B 和3B 模型经过量化处理，平均可以缩小56% 的体积，并且在内存使用上减少了41%，并实现2-3倍的

百度希壤轻量化元宇宙SaaS平台于8月9日正式发布，这是一项专为加速企业数字化转型而设计的服务。该平台集成了百度希壤在元宇宙、人工智能、云计算和移动化应用等领域的技术积累，提供轻量化场景订阅能力，通过空间与组件的自由结合，构建自有的营销、会展融媒体、文化教育等场景，帮助企业实现降本增效。

文章主要探讨了人工智能领域中，尤其是大型语言模型(LLMs)的计算与存储挑战。随着AI能力的提升，如Bloom模型的出现，所需的计算资源和存储空间显著增加，导致成本高企和普及性问题。为解决这一问题，研究者引入了“量化”技术，通过降低模型权重和激活的精度来减小模型体积和加速运行速度，同时控制可能的准确性损失。文章重点介绍了由北京航空航天大学和商汤科技合作开发的LLMC工具包，它提供了多样化的量化方法、低成本的实现方案以及高兼容性的特点，旨在帮助研究者和开发者优化大型语言模型，实现模型的轻量化和节能化。通过LLMC工具包，AI模型可以在保持高效性能的同时，降低资源消耗，推动大型语言模型的普及应用。此外，文章还提出了在选择训练数据、量化算法以及整数或浮点数量化方面的策略建议，以进一步优化模型性能。LLMC工具包的问世，为AI领域提供了新的优化工具，有望促进更轻量级、高效能AI应用的发展。

["零一万物基正式发布并开源微调模型 Yi-34B-Chat","零一万物提供了 4bit/8bit 量化版模型","Yi-34B-Chat 在各项评测中表现出色","Yi 系列模型已在 ModelScope 社区开源","开发者可以在社区中下载、推理和训练这些模型"]

["蚂蚁集团发布了 CodeFuse-CodeLlama-34B 的 4bits 量化版本","量化后的模型可用单张 A10 或 RTX4090 加载","量化后的模型在 Humaneval pass@1 指标上达到 73.8% 的表现","CodeFuse 是蚂蚁自研的代码生成专属大模型","通过提供智能建议和实时支持，提升开发者的研发效率"]

["ChatGPT 通过与传统的量化投资方式结合，展现出了不俗的选股才能。","通过综合分析历史信息，ChatGPT 能够优化股票组合，实现收益和风险的平衡。","结合 ChatGPT 的选股能力和量化模型的优势，可以达到更好的投资效果。"]

["小米科技战略升级，未来主要突破方向是「轻量化、本地部署」。","小米今年研发投入超过200亿，将在业务上应用大模型技术。","小米的手机端侧大模型在部分场景的效果已经能够媲美云端。"]