科技公司 SandboxAQ 宣布完成超过3亿美元的融资，以加速其大型量化模型（L）及其他人工智能应用的开发。本轮融资由 Fred Alger Management、T. Rowe Price 和 Breyer Capital 等投资机构领投，使得公司在融资前的估值达到了53亿美元。与处理自然语言的大型语言模型(LLM)不同，LQM 专注于解决复杂的科学和商业问题，能够处理大量的数值和科学数据。图源备注：图片由AI生成，图片授权服务商MidjourneySandboxAQ 的首席执行官 Jack Hidary 表示:“大型量化模型是人工智能的下一个发展浪潮，它们为航空航天、生物

阿联酋政府支持的技术创新研究所（TII）近日宣布推出其新一代开源小型语言模型(SLM)——Falcon3系列。这一系列包括四个不同规模的模型:1B、3B、7B和10B，并提供基础版与指令版两种变体，旨在为开发人员、研究人员和企业提供一种高效且成本低廉的AI解决方案。这些模型的推出，标志着AI功能的进一步民主化，能够在轻量级的单GPU基础设施上运行，满足对计算资源有限的设备和应用场景的需求。图源备注:图片由AI生成，图片授权服务商MidjourneyFalcon3的表现已在Hugging Face排行榜上脱颖而出，超

Weaviate近日推出了一款全新的嵌入式服务平台Weaviate Embeddings，旨在为AI开发者提供更灵活、更高效的数据向量化解决方案。这项软件即服务（SaaS）平台不仅提供开源模型，还带来了按需付费的便捷服务模式。在AI应用开发中，嵌入式服务扮演着至关重要的角色。传统的数据向量化服务常常受限于繁琐的API调用和严格的使用限制，而Weaviate的这项创新正是为了突破这些技术障碍。该服务的核心优势在于:开发者可以直接访问Weaviate云端托管的开源和专有模型，无需依赖外部提供商。用户拥有完全

在今日举行的Rokid Jungle2024合作伙伴暨新品发布会上，Rokid正式发布了新一代AR眼镜——Rokid Glasses。这款眼镜不仅支持根据用户需求定制近视和散光镜片，还采用了方便拆装的卡扣设计，为不同视力的用户提供了更多个性化选择。 Rokid Glasses 最大的亮点在于其整合了阿里巴巴通义千问多模态大模型，带来接打电话、问答搜索、物品识别、翻译、导航以及拍照答题等丰富功能，为用户提供更加智能化的交互体验。此外，这款AR眼镜搭载高通骁龙 AR1平台，专为轻量化设计优化了散热和功耗表现，

Meta Platforms今日发布其Llama模型的全新精简版本，包括Llama3.21B和3B两款产品，首次实现了大规模语言模型在普通智能手机和平板电脑上的稳定运行。通过创新性地整合量化训练技术与优化算法，新版本在保持原有处理质量的同时，将文件体积缩减56%，运行内存需求降低41%，处理速度更是提升至原版4倍，单次可连续处理8，000字符文本。在 Android 手机上进行测试时，Meta 的压缩 AI 模型（SpinQuant 和 QLoRA）与标准版本相比，速度和效率都有显著提升。较小的模型运行速度提高了四倍，而内存占用却

最近，Meta AI 推出了全新的量化 Llama3.2模型，包含1B 和3B 两个版本，这款模型可以在多种设备上进行微调、蒸馏和部署。过去，虽然像 Llama3这样的模型在自然语言理解和生成方面取得了显著成就，但其庞大的体量和高计算需求使得很多组织难以使用。训练时间长、能源消耗高以及对昂贵硬件的依赖，无疑加大了科技巨头与小型企业之间的鸿沟。Llama3.2的特点之一就是支持多语言文本和图像处理。1B 和3B 模型经过量化处理，平均可以缩小56% 的体积，并且在内存使用上减少了41%，并实现2-3倍的

百度希壤轻量化元宇宙SaaS平台于8月9日正式发布，这是一项专为加速企业数字化转型而设计的服务。该平台集成了百度希壤在元宇宙、人工智能、云计算和移动化应用等领域的技术积累，提供轻量化场景订阅能力，通过空间与组件的自由结合，构建自有的营销、会展融媒体、文化教育等场景，帮助企业实现降本增效。

文章主要探讨了人工智能领域中，尤其是大型语言模型(LLMs)的计算与存储挑战。随着AI能力的提升，如Bloom模型的出现，所需的计算资源和存储空间显著增加，导致成本高企和普及性问题。为解决这一问题，研究者引入了“量化”技术，通过降低模型权重和激活的精度来减小模型体积和加速运行速度，同时控制可能的准确性损失。文章重点介绍了由北京航空航天大学和商汤科技合作开发的LLMC工具包，它提供了多样化的量化方法、低成本的实现方案以及高兼容性的特点，旨在帮助研究者和开发者优化大型语言模型，实现模型的轻量化和节能化。通过LLMC工具包，AI模型可以在保持高效性能的同时，降低资源消耗，推动大型语言模型的普及应用。此外，文章还提出了在选择训练数据、量化算法以及整数或浮点数量化方面的策略建议，以进一步优化模型性能。LLMC工具包的问世，为AI领域提供了新的优化工具，有望促进更轻量级、高效能AI应用的发展。

["零一万物基正式发布并开源微调模型 Yi-34B-Chat","零一万物提供了 4bit/8bit 量化版模型","Yi-34B-Chat 在各项评测中表现出色","Yi 系列模型已在 ModelScope 社区开源","开发者可以在社区中下载、推理和训练这些模型"]

["蚂蚁集团发布了 CodeFuse-CodeLlama-34B 的 4bits 量化版本","量化后的模型可用单张 A10 或 RTX4090 加载","量化后的模型在 Humaneval pass@1 指标上达到 73.8% 的表现","CodeFuse 是蚂蚁自研的代码生成专属大模型","通过提供智能建议和实时支持，提升开发者的研发效率"]

["ChatGPT 通过与传统的量化投资方式结合，展现出了不俗的选股才能。","通过综合分析历史信息，ChatGPT 能够优化股票组合，实现收益和风险的平衡。","结合 ChatGPT 的选股能力和量化模型的优势，可以达到更好的投资效果。"]

["小米科技战略升级，未来主要突破方向是「轻量化、本地部署」。","小米今年研发投入超过200亿，将在业务上应用大模型技术。","小米的手机端侧大模型在部分场景的效果已经能够媲美云端。"]