BitNet
1ビット大型言語モデル推論フレームワーク
一般製品プログラミング大型言語モデル推論フレームワーク
BitNetは、マイクロソフトが開発した公式推論フレームワークであり、1ビット大型言語モデル(LLM)向けに設計されています。最適化されたコアを提供し、CPU上で高速かつロスレスな1.58ビットモデル推論をサポートしています(NPUおよびGPUサポートは近日公開予定)。BitNetはARM CPUにおいて1.37倍から5.07倍の速度向上、55.4%から70.0%のエネルギー効率向上を実現しました。x86 CPUでは、速度向上が2.37倍から6.17倍、エネルギー効率向上が71.9%から82.2%に達します。さらに、BitNetは単一CPU上で100BパラメーターのBitNet b1.58モデルを実行し、人間並みの読書速度に近い推論速度を実現することで、ローカルデバイス上での大型言語モデル実行の可能性を広げます。
BitNet 最新のトラフィック状況
月間総訪問数
474564576
直帰率
36.20%
平均ページ/訪問
6.1
平均訪問時間
00:06:34