Les LLM augmentés par LLM permettent de développer de nouvelles capacités en combinant des modèles de base existants avec des modèles plus spécifiques. CALM (Composition to Augment Language Models) introduit une attention croisée entre les modèles pour combiner leurs représentations et atteindre de nouvelles capacités. Ses caractéristiques notables incluent : (i) l'extension de l'échelle des LLM sur de nouvelles tâches en « réutilisant » les LLM existants avec un minimum de paramètres et de données supplémentaires ; (ii) le maintien des poids des modèles existants, préservant ainsi leurs capacités ; (iii) l'adaptabilité à différents domaines et contextes. Des expériences ont démontré une amélioration absolue allant jusqu'à 13 % sur des tâches telles que le raisonnement arithmétique et la traduction vers l'anglais et des langues à faibles ressources, en augmentant PaLM2-S avec des modèles plus petits entraînés sur des langues à faibles ressources. De même, lorsque PaLM2-S est augmenté avec des modèles spécifiques au code, nous avons observé une amélioration allant jusqu'à 40 % sur les tâches de génération et d'interprétation de code, comparable aux modèles entièrement finetunés.