Memory Layers at Scale est une méthode innovante d'implémentation d'une couche mémoire. Grâce à un mécanisme de recherche clé-valeur entraînable, elle permet d'ajouter des paramètres supplémentaires au modèle sans augmenter le nombre d'opérations en virgule flottante. Cette approche est particulièrement importante pour les modèles linguistiques de grande envergure, car elle permet d'améliorer considérablement les capacités de stockage et de recherche du modèle tout en maintenant l'efficacité du calcul. Les principaux avantages de cette technologie sont l'extension efficace de la capacité du modèle, la réduction de la consommation de ressources de calcul et l'amélioration de la flexibilité et de l'extensibilité du modèle. Ce projet a été développé par l'équipe Meta Lingua et convient aux scénarios nécessitant le traitement de données volumineuses et de modèles complexes.