A plataforma aberta Kimi, da empresa 月之暗面, anunciou uma redução de 50% no custo de armazenamento em cache de contexto. Especificamente: o custo de armazenamento em cache caiu de 10 yuans/1M tokens/min para 5 yuans/1M tokens/min.
Em 1º de julho, a plataforma aberta Kimi anunciou o início do teste público do cache de contexto (Context Caching).
O cache de contexto (Context Caching) é uma técnica eficiente de gerenciamento de dados que permite ao sistema armazenar previamente grandes quantidades de dados ou informações que provavelmente serão solicitadas com frequência.
Dessa forma, quando você solicita as mesmas informações novamente, o sistema pode fornecê-las rapidamente a partir do cache, sem precisar recalcular ou recuperar dados da fonte original, economizando tempo e recursos.
O cache de contexto (Context Caching) é especialmente adequado para cenários com solicitações frequentes e referências repetidas a grandes contextos iniciais, podendo reduzir significativamente os custos de modelos de texto longo e aumentar a eficiência!
