ChinaZ.com le 20 juin : La plateforme ouverte Kimi a récemment annoncé le lancement imminent d'une phase de test bêta pour sa fonctionnalité très attendue de mise en cache du contexte. Cette fonctionnalité innovante prendra en charge les grands modèles de langage pour les longs textes et offrira aux utilisateurs une expérience sans précédent grâce à un mécanisme de mise en cache du contexte hautement efficace.
Selon la présentation officielle de la plateforme ouverte Kimi, la mise en cache du contexte est une technologie de pointe visant à réduire considérablement les coûts pour les utilisateurs lorsqu'ils demandent le même contenu en mettant en cache les éléments Tokens redondants. Son principe de fonctionnement repose sur l'identification et le stockage intelligents des fragments de texte déjà traités. Lors d'une nouvelle demande de l'utilisateur, le système peut rapidement les récupérer depuis le cache, améliorant ainsi considérablement la vitesse de réponse de l'interface API.
Pour les scénarios d'invite à grande échelle et à forte redondance, les avantages de la fonctionnalité de mise en cache du contexte sont particulièrement importants. Elle permet de répondre rapidement à un grand nombre de requêtes fréquentes et, grâce à la réutilisation du contenu mis en cache, d'améliorer considérablement l'efficacité du traitement et de réduire les coûts.
Il est particulièrement important de noter que la fonctionnalité de mise en cache du contexte est particulièrement adaptée aux scénarios d'application nécessitant des requêtes fréquentes et la réutilisation d'un grand nombre de contextes initiaux. Grâce à cette fonctionnalité, les utilisateurs peuvent facilement mettre en cache efficacement le contexte, améliorant ainsi leur productivité et réduisant leurs coûts d'exploitation.