ChinaZ.com, 20 de junio de 2024: La plataforma abierta Kimi ha anunciado recientemente que la muy esperada función de almacenamiento en caché de contexto está a punto de iniciar su fase de prueba. Esta innovadora función admitirá modelos de lenguaje extenso de texto largo y, mediante un mecanismo de caché de contexto eficiente, ofrecerá a los usuarios una experiencia sin precedentes.
Según la introducción oficial de la plataforma abierta Kimi, el almacenamiento en caché de contexto es una tecnología de vanguardia que tiene como objetivo reducir drásticamente el coste para los usuarios al solicitar el mismo contenido mediante el almacenamiento en caché del contenido de tokens repetidos. Su principio de funcionamiento consiste en identificar e almacenar de forma inteligente los fragmentos de texto ya procesados; cuando el usuario vuelve a solicitarlos, el sistema puede recuperarlos rápidamente de la caché, lo que mejora enormemente la velocidad de respuesta de la interfaz de la API.
Para escenarios de solicitud a gran escala con alta repetición, la ventaja de la función de almacenamiento en caché de contexto es especialmente notable. Puede responder rápidamente a una gran cantidad de solicitudes frecuentes y, mediante la reutilización del contenido almacenado en caché, mejorar significativamente la eficiencia del procesamiento y reducir los costes.
Cabe destacar que la función de almacenamiento en caché de contexto es especialmente adecuada para escenarios de aplicación que requieren solicitudes frecuentes y referencias repetidas a una gran cantidad de contexto inicial. Mediante esta función, los usuarios pueden implementar fácilmente el almacenamiento en caché de contexto de alta eficiencia, mejorando así la eficiencia del trabajo y reduciendo los costes operativos.
