BitNet

1位大型语言模型推理框架

普通产品编程大型语言模型推理框架
BitNet是由微软开发的官方推理框架,专为1位大型语言模型(LLMs)设计。它提供了一套优化的核心,支持在CPU上进行快速且无损的1.58位模型推理(NPU和GPU支持即将推出)。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升,能效比提高了55.4%到70.0%。在x86 CPU上,速度提升范围从2.37倍到6.17倍,能效比提高了71.9%到82.2%。此外,BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型,实现接近人类阅读速度的推理速度,拓宽了在本地设备上运行大型语言模型的可能性。
打开网站

BitNet 最新流量情况

月总访问量

494758773

跳出率

37.69%

平均页面访问数

5.7

平均访问时长

00:06:29

BitNet 访问量趋势

BitNet 访问地理位置分布

BitNet 流量来源

BitNet 替代品