ChinaZ.com (站长之家) - 20 de junho de 2024: A plataforma aberta Kimi anunciou recentemente que o aguardado recurso de Context Caching está prestes a iniciar seu teste beta. Este recurso inovador oferecerá suporte a modelos de linguagem grandes de texto longo e, por meio de um mecanismo de cache de contexto eficiente, proporcionará aos usuários uma experiência sem precedentes.
De acordo com a plataforma aberta Kimi, o Context Caching é uma tecnologia de ponta que visa reduzir significativamente o custo para os usuários ao solicitarem o mesmo conteúdo, por meio do armazenamento em cache de conteúdo de Tokens repetidos. Seu princípio de funcionamento consiste em identificar e armazenar inteligentemente fragmentos de texto já processados. Quando o usuário solicita novamente, o sistema pode recuperá-los rapidamente do cache, melhorando consideravelmente a velocidade de resposta da interface da API.
Para cenários de prompt em larga escala e com alta repetição, as vantagens do recurso Context Caching são particularmente notáveis. Ele pode responder rapidamente a um grande número de solicitações frequentes e, reutilizando o conteúdo em cache, melhorar significativamente a eficiência do processamento e reduzir os custos.
Vale ressaltar que o recurso Context Caching é especialmente adequado para cenários de aplicativos que exigem solicitações frequentes e referências repetidas a um grande número de contextos iniciais. Com este recurso, os usuários podem implementar facilmente o cache de contexto eficiente, melhorando a produtividade e reduzindo os custos operacionais.
