蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存

蚂蚁集团旗下CodeFuse代码大模型开源了ModelCache大模型语义缓存，以降低大型模型应用的推理成本，提升用户体验。ModelCache的架构包括adapter、embedding、similarity和data_manager模块，可以将文本转换为语义向量表示，并对向量进行相似度排序和评估。ModelCache的线上效果统计表明，命中缓存可以将平均耗时降低10倍，提速率可达14.5%。未来，ModelCache将继续优化性能和精度，以提高召回时间和准确率。