La API de Anthropic ha lanzado recientemente la función de caché de indicaciones, permitiendo a los desarrolladores almacenar en caché información de contexto común entre llamadas a la API. Gracias al caché de indicaciones, los clientes pueden proporcionar al modelo Claude más información de contexto y ejemplos de salida, reduciendo significativamente el coste de las indicaciones largas, hasta un 90%, y la latencia, hasta un 85%.
Esta función ya está disponible en las versiones beta públicas de Claude 3.5 Sonnet y Claude 3 Haiku, y próximamente se añadirá soporte para Claude 3 Opus.
La función de caché de indicaciones es especialmente útil en los siguientes escenarios: cuando se necesita referenciar repetidamente un gran contexto de indicaciones en múltiples solicitudes, como en agentes de conversación para reducir el coste y la latencia de conversaciones largas, especialmente con instrucciones complejas o subida de documentos; los asistentes de codificación pueden mejorar la autocompletación y las preguntas y respuestas del repositorio de código manteniendo una versión resumida del repositorio en la indicación; al procesar documentos grandes, el caché de indicaciones permite incrustar materiales largos sin aumentar el tiempo de respuesta; además, para escenarios de búsqueda de agentes y uso de herramientas que implican múltiples llamadas a herramientas e iteraciones de cambios, el caché de indicaciones también mejora significativamente el rendimiento.
El precio del caché de indicaciones depende del número de tokens de entrada almacenados en caché y de la frecuencia de uso. El coste de escritura en la caché es un 25% superior al precio del token de entrada básico, mientras que el coste de usar el contenido de la caché se reduce considerablemente, al 10% del precio del token de entrada básico.
Según se informa, Notion, como cliente de la API de Anthropic, ya ha integrado la función de caché de indicaciones en su asistente de inteligencia artificial, Notion AI. Al reducir costes y aumentar la velocidad, Notion ha optimizado sus operaciones internas y ofrece a sus usuarios una experiencia más avanzada y rápida.
