LLM-erweiterte LLMs erzielen neue Fähigkeiten durch die Kombination bestehender Basismodelle mit spezifischeren Modellen. CALM (Composition to Augment Language Models) integriert Cross-Attention zwischen Modellen, um deren Repräsentationen zu kombinieren und neue Fähigkeiten zu ermöglichen. Besonders hervorzuheben sind: (i) Skalierung von LLMs auf neue Aufgaben durch „Wiederverwendung“ bestehender LLMs mit nur wenigen zusätzlichen Parametern und Daten; (ii) Beibehaltung der bestehenden Modellgewichte, wodurch die vorhandenen Fähigkeiten erhalten bleiben; (iii) Anwendbarkeit auf verschiedene Bereiche und Szenarien. Experimente zeigen eine absolute Verbesserung um bis zu 13 % bei Aufgaben wie der Übersetzung ins Englische und in ressourcenarme Sprachen sowie beim arithmetischen Schließen, wenn PaLM2-S mit kleineren, auf ressourcenarmen Sprachen trainierten Modellen erweitert wird. Ähnlich zeigen sich bei der Erweiterung von PaLM2-S mit code-spezifischen Modellen Verbesserungen von bis zu 40 % bei Codegenerierungs- und -erklärungsaufgaben im Vergleich zum Basismodell – auf Augenhöhe mit vollständig feinabgestimmten Modellen.