Die Kimi Open Platform unter dem Dach von Mondfinsternis kündigt an, die Kosten für die Kontext-Cache-Speicherung um 50 % zu senken. Konkret: Die Kosten für die Cache-Speicherung sinken von 10 Yuan/1M Tokens/Minute auf 5 Yuan/1M Tokens/Minute.
Am 1. Juli kündigte die Kimi Open Platform die öffentliche Beta-Phase des Kontext-Cache (Context Caching) an.
Kontext-Caching ist eine effiziente Technik zur Datenverwaltung. Sie ermöglicht es dem System, große Datenmengen oder Informationen, die wahrscheinlich häufig abgerufen werden, im Voraus zu speichern.
Wenn Sie dieselben Informationen erneut anfordern, kann das System diese direkt und schnell aus dem Cache bereitstellen, anstatt sie neu berechnen oder aus der ursprünglichen Datenquelle abrufen zu müssen. Dies spart Zeit und Ressourcen.
Kontext-Caching eignet sich besonders für Szenarien mit häufigen Anfragen und wiederholten Verweisen auf große anfängliche Kontexte. Es kann die Kosten für Langtextmodelle deutlich senken und die Effizienz steigern!
