Los LLMs Aumentados por LLM consiguen nuevas capacidades combinando modelos base existentes con modelos más específicos. CALM (Composición para Aumentar los Modelos de Lenguaje) introduce la atención cruzada entre modelos para combinar sus representaciones y lograr nuevas habilidades. Sus características más destacadas son: (i) escalar los LLMs en nuevas tareas mediante la "reutilización" de LLMs existentes, con pocos parámetros y datos adicionales; (ii) mantener los pesos de los modelos existentes intactos, conservando así sus capacidades; (iii) ser aplicable a diferentes dominios y entornos. Los experimentos demuestran que al aumentar PaLM2-S con modelos más pequeños entrenados en idiomas de bajos recursos, se consiguieron mejoras absolutas de hasta un 13% en tareas como la traducción al inglés y el razonamiento aritmético en idiomas de bajos recursos. De forma similar, al aumentar PaLM2-S con modelos específicos de código, se observaron mejoras de hasta un 40% en tareas de generación e interpretación de código en comparación con el modelo base, alcanzando un rendimiento similar a los modelos completamente ajustados.