BitNet

1ビット大型言語モデル推論フレームワーク

一般製品プログラミング大型言語モデル推論フレームワーク
BitNetは、マイクロソフトが開発した公式推論フレームワークであり、1ビット大型言語モデル(LLM)向けに設計されています。最適化されたコアを提供し、CPU上で高速かつロスレスな1.58ビットモデル推論をサポートしています(NPUおよびGPUサポートは近日公開予定)。BitNetはARM CPUにおいて1.37倍から5.07倍の速度向上、55.4%から70.0%のエネルギー効率向上を実現しました。x86 CPUでは、速度向上が2.37倍から6.17倍、エネルギー効率向上が71.9%から82.2%に達します。さらに、BitNetは単一CPU上で100BパラメーターのBitNet b1.58モデルを実行し、人間並みの読書速度に近い推論速度を実現することで、ローカルデバイス上での大型言語モデル実行の可能性を広げます。
ウェブサイトを開く

BitNet 最新のトラフィック状況

月間総訪問数

474564576

直帰率

36.20%

平均ページ/訪問

6.1

平均訪問時間

00:06:34

BitNet 訪問数の傾向

BitNet 訪問地理的分布

BitNet トラフィックソース

BitNet 代替品