Les chercheurs de Google ont récemment publié l'architecture de modèle révolutionnaire de la série 'Titans', qui, grâce à une conception biomimétique, a permis d'atteindre une longueur de contexte révolutionnaire de 2 millions de jetons, et prévoit d'open-sourcer les technologies associées à l'avenir. L'innovation principale de cette architecture réside dans l'introduction d'un module de mémoire à long terme neuronal profond, dont la conception s'inspire du système de mémoire humaine. Titans combine habilement la capacité de réponse rapide de la mémoire à court terme et les caractéristiques de persistance de la mémoire à long terme, tout en utilisant un mécanisme d'attention pour traiter le contexte immédiat, formant ainsi un système de traitement de l'information efficace. Selon Google