T-MAC（Table-Lookup-based MAC）技术旨在解决边缘设备部署大型语言模型（LLMs）的内存和计算限制问题。通过将模型权重量化为低比特表示，T-MAC利用查找表（LUT）替代传统乘法运算，显著提高了在CPU上的运行效率。这一方法大幅减少了运算所需内存，使数十亿参数的LLMs能够在资源受限的设备上高效运行，实现智能升级。与现有实现相比，T-MAC在吞吐量上提升4倍，能耗降低70%，即使在低端设备如Raspberry Pi 5上也能以接近成人阅读速度的速度生成令牌。T-MAC不仅适用于智能手机的实时语音识别和自然语言处理，还能提升智能家居设备的交互体验。作为开源项目，T-MAC有望推动边缘智能领域的发展，提供高效节能的LLM部署解决方案，为用户带来更丰富、便捷的智能体验。