Développé par l'équipe Magic, le modèle de contexte ultralong (LTM) peut traiter jusqu'à 100 millions de jetons de contexte, une avancée majeure dans le domaine de l'IA. Cette technologie, principalement destinée au développement logiciel, améliore considérablement la qualité et l'efficacité de la synthèse de code en fournissant, lors de l'inférence, un contexte riche comprenant du code, de la documentation et des bibliothèques. Comparé aux réseaux neuronaux récurrents et aux modèles d'espace d'état traditionnels, le modèle LTM présente des avantages significatifs en matière de stockage et de récupération d'informations volumineuses, permettant la construction de circuits logiques plus complexes. De plus, l'équipe Magic collabore avec Google Cloud et utilise des NVIDIA GB200 NVL72 pour construire un supercalculateur IA de nouvelle génération, améliorant ainsi l'efficacité de l'inférence et de l'entraînement du modèle.