BiTA

大規模言語モデルの双方向調整手法

一般製品生産性大規模言語モデルプラグイン
BiTAは大規模言語モデルのための双方向調整手法です。簡略化された半自己回帰的生成と草案検証によって、大規模言語モデルの推論速度を向上させます。軽量なプラグインモジュールとして、既存の大規模言語モデルの推論効率をシームレスに向上させ、追加の補助モデルや著しいメモリコスト増加を必要としません。BiTA適用後のLLaMA-2-70B-Chatは、MT-Benchベンチマークにおいて2.7倍の高速化を実現しました。広範な実験により、本手法が最先端の高速化技術を凌駕することが実証されています。
ウェブサイトを開く

BiTA 最新のトラフィック状況

月間総訪問数

29742941

直帰率

44.20%

平均ページ/訪問

5.9

平均訪問時間

00:04:44

BiTA 訪問数の傾向

BiTA 訪問地理的分布

BiTA トラフィックソース

BiTA 代替品