最近，Meta AI 推出了全新的量化 Llama3.2模型，包含1B 和3B 两个版本，这款模型可以在多种设备上进行微调、蒸馏和部署。过去，虽然像 Llama3这样的模型在自然语言理解和生成方面取得了显著成就，但其庞大的体量和高计算需求使得很多组织难以使用。训练时间长、能源消耗高以及对昂贵硬件的依赖，无疑加大了科技巨头与小型企业之间的鸿沟。Llama3.2的特点之一就是支持多语言文本和图像处理。1B 和3B 模型经过量化处理，平均可以缩小56% 的体积，并且在内存使用上减少了41%，并实现2-3倍的

最近，法国人工智能初创公司 Mistral AI 宣布了他们的新一代语言模型 ——Ministral3B 和 Ministral8B。这两款新模型是 “Ministraux” 系列的一部分，专为边缘设备和边缘计算场景而设计，支持高达128，000个 token 的上下文长度。这意味着这些模型不仅处理能力强大，而且可以在数据隐私和本地处理尤为重要的情况下使用。Mistral 表示，Ministraux 系列模型非常适合于一系列应用，例如本地翻译、离线智能助手、数据分析以及自主机器人技术。为了进一步提升效率，Ministraux 模型还可以与更大的语言模

近日，边缘计算芯片和软件初创公司 SiMa.ai 宣布推出其新产品 ——MLSoC Modalix 芯片，进一步巩固了其在边缘 AI 市场的地位。SiMa.ai 刚刚完成了7000万美元的融资，投资方包括 Dell Technologies Capital 等行业大腕。

生成式 AI 市场发展迅猛，预计到2024年规模达400亿美元，到2030年飙升至1.5万亿美元，年均增长率高达83%。应用范围广泛，从文本、图像到音乐领域。随着 AI 技术转向边缘计算，未来五年内 AI 相关软件和服务份额将显著增加，预计到2030年分别占市场的32% 和55%，成为市场扩张的重要推动力。

T-MAC（Table-Lookup-based MAC）技术旨在解决边缘设备部署大型语言模型（LLMs）的内存和计算限制问题。通过将模型权重量化为低比特表示，T-MAC利用查找表（LUT）替代传统乘法运算，显著提高了在CPU上的运行效率。这一方法大幅减少了运算所需内存，使数十亿参数的LLMs能够在资源受限的设备上高效运行，实现智能升级。与现有实现相比，T-MAC在吞吐量上提升4倍，能耗降低70%，即使在低端设备如Raspberry Pi 5上也能以接近成人阅读速度的速度生成令牌。T-MAC不仅适用于智能手机的实时语音识别和自然语言处理，还能提升智能家居设备的交互体验。作为开源项目，T-MAC有望推动边缘智能领域的发展，提供高效节能的LLM部署解决方案，为用户带来更丰富、便捷的智能体验。

["英伟达发布 L40S，可能会使得投资人对 AI 投资的关注重点转移到 AI 边缘运算。","L40S 是一款计算加速显卡，适用于图形渲染、人工智能大模型训练和推理、三维设计和视频处理等用途。","L40S 的生成式 AI 推理性能比 A100 高 1.2 倍，训练性能高 1.7 倍。"]