Ant Group's CodeFuse hat ModelCache, einen semantischen Cache für große Sprachmodelle, als Open Source veröffentlicht. ModelCache reduziert die Inferenzkosten großer Modelle und verbessert die Benutzererfahrung.
Die Architektur von ModelCache umfasst die Module Adapter, Embedding, Similarity und Data_Manager. Diese ermöglichen die Umwandlung von Text in semantische Vektorrepräsentationen, gefolgt von einer Ähnlichkeitsbewertung und -sortierung der Vektoren.
Online-Statistiken zeigen, dass ModelCache die durchschnittliche Verarbeitungszeit durch Cache-Treffer um das Zehnfache reduziert und eine Beschleunigung von bis zu 14,5% erreicht.
Zukünftig wird ModelCache hinsichtlich Leistung und Genauigkeit weiter optimiert, um die Rückrufzeit und die Genauigkeit zu verbessern.