A Anthropic anunciou um novo recurso de "cache de prompts" para sua família de modelos de linguagem grandes Claude, projetado para reduzir significativamente os custos de IA para empresas e melhorar o desempenho. Este recurso permite que os usuários armazenem e reutilize informações de contexto específicas sem custos adicionais ou aumento de latência. Em testes públicos, o recurso estará disponível para os modelos Claude 3.5 Sonnet e Claude 3 Haiku, com a expectativa de redução de custos de até 90% e aumento da velocidade de resposta em até duas vezes em alguns cenários. Este recurso é especialmente útil para aplicações que exigem...

A API da Anthropic adicionou um recurso de cache de prompts para otimizar a experiência do usuário com o modelo Claude. Esse recurso permite que os usuários armazenem em cache informações de contexto comumente usadas entre as chamadas da API, reduzindo significativamente o custo e a latência de prompts longos, chegando a até 90% e 85%, respectivamente. Atualmente, está disponível em versão beta pública para Claude 3.5 Sonnet e Claude 3 Haiku, e será expandido para o Claude 3 Opus no futuro. Adequado para agentes de conversação, assistentes de codificação, processamento de documentos grandes e pesquisa por meio de agentes. Precificação do cache de prompts

Ontem, a plataforma aberta Kimi da Lua Escura anunciou o início dos testes públicos do cache de contexto (Context Caching). Essa tecnologia, mantendo o preço da API inalterado, pode reduzir em até 90% o custo de uso de modelos de linguagem grandes para textos longos para desenvolvedores, além de melhorar significativamente a velocidade de resposta do modelo.