近日，边缘计算芯片和软件初创公司 SiMa.ai 宣布推出其新产品 ——MLSoC Modalix 芯片，进一步巩固了其在边缘 AI 市场的地位。SiMa.ai 刚刚完成了7000万美元的融资，投资方包括 Dell Technologies Capital 等行业大腕。

生成式 AI 市场发展迅猛，预计到2024年规模达400亿美元，到2030年飙升至1.5万亿美元，年均增长率高达83%。应用范围广泛，从文本、图像到音乐领域。随着 AI 技术转向边缘计算，未来五年内 AI 相关软件和服务份额将显著增加，预计到2030年分别占市场的32% 和55%，成为市场扩张的重要推动力。

T-MAC（Table-Lookup-based MAC）技术旨在解决边缘设备部署大型语言模型（LLMs）的内存和计算限制问题。通过将模型权重量化为低比特表示，T-MAC利用查找表（LUT）替代传统乘法运算，显著提高了在CPU上的运行效率。这一方法大幅减少了运算所需内存，使数十亿参数的LLMs能够在资源受限的设备上高效运行，实现智能升级。与现有实现相比，T-MAC在吞吐量上提升4倍，能耗降低70%，即使在低端设备如Raspberry Pi 5上也能以接近成人阅读速度的速度生成令牌。T-MAC不仅适用于智能手机的实时语音识别和自然语言处理，还能提升智能家居设备的交互体验。作为开源项目，T-MAC有望推动边缘智能领域的发展，提供高效节能的LLM部署解决方案，为用户带来更丰富、便捷的智能体验。

["英伟达发布 L40S，可能会使得投资人对 AI 投资的关注重点转移到 AI 边缘运算。","L40S 是一款计算加速显卡，适用于图形渲染、人工智能大模型训练和推理、三维设计和视频处理等用途。","L40S 的生成式 AI 推理性能比 A100 高 1.2 倍，训练性能高 1.7 倍。"]