T-MAC是一个内核库，通过使用查找表直接支持混合精度矩阵乘法，无需去量化操作，旨在加速CPU上的低比特大型语言模型推理。它支持多种低比特模型，包括GPTQ/gguf的W4A16、BitDistiller/EfficientQAT的W2A16以及OSX/Linux/Windows上的ARM/Intel CPU的BitNet W1(.58)A8。T-MAC在Surface Laptop 7上实现了3B BitNet的令牌生成吞吐量，单核每秒20个，四核每秒48个，比现有最先进的CPU低比特框架（llama.cpp）快4~5倍。