アリババグループ傘下のCodeFuseは、大規模言語モデルの推論コストを削減し、ユーザーエクスペリエンスを向上させるためのModelCache大規模モデル意味キャッシュをオープンソース化しました。
ModelCacheのアーキテクチャは、adapter、embedding、similarity、data_managerの4つのモジュールで構成されています。テキストを意味ベクトルに変換し、ベクトル間の類似度をソートして評価することができます。
ModelCacheのオンラインパフォーマンス統計によると、キャッシュヒット率は平均処理時間を10分の1に短縮し、速度は14.5%向上しました。
今後、ModelCacheはパフォーマンスと精度の向上に注力し、検索時間と正確性の向上を目指します。