La plataforma abierta Kimi, bajo el paraguas de 月之暗面 (Yuè zhī àn miàn), anuncia una reducción del 50% en el costo de almacenamiento de la caché de contexto. Específicamente: el costo de almacenamiento en caché pasa de 10 yuanes/1M tokens/min a 5 yuanes/1M tokens/min.
El 1 de julio, la plataforma abierta Kimi anunció el inicio de la prueba beta de la caché de contexto (Context Caching).
La caché de contexto (Context Caching) es una técnica eficiente de gestión de datos que permite al sistema almacenar previamente grandes cantidades de datos o información que probablemente se soliciten con frecuencia.
De esta manera, cuando se solicita la misma información de nuevo, el sistema puede proporcionarla rápidamente desde la caché, sin necesidad de recalcularla o recuperarla de la fuente de datos original, lo que ahorra tiempo y recursos.
La caché de contexto (Context Caching) es especialmente adecuada para escenarios con solicitudes frecuentes y referencias repetidas a un gran contexto inicial, ¡lo que puede reducir significativamente los costos de los modelos de texto largo y mejorar la eficiencia!
