A CodeFuse, da Ant Group, lançou o ModelCache, um cache de semântica de modelo de IA de código aberto, projetado para reduzir os custos de inferência de aplicativos de modelos grandes e melhorar a experiência do usuário. A arquitetura do ModelCache inclui os módulos adapter, embedding, similarity e data_manager, capazes de converter texto em representações vetoriais semânticas, classificar e avaliar a similaridade entre vetores.
As estatísticas de desempenho online do ModelCache demonstram que a utilização do cache pode reduzir o tempo médio de processamento em 10 vezes, resultando em uma aceleração de até 14,5%. No futuro, o ModelCache continuará a ser otimizado em termos de desempenho e precisão, com o objetivo de melhorar o tempo de recuperação e a taxa de precisão.