AppAgent est un framework d'agent multi-modal basé sur les LLM (grands modèles linguistiques), conçu pour interagir avec les applications de smartphones. Simulant l'interaction humaine grâce à un espace d'actions simplifié (clics et glissements), il permet de manipuler les applications sans accès au backend système. L'agent apprend à utiliser de nouvelles applications par exploration autonome ou observation de démonstrations humaines, créant une base de connaissances pour exécuter des tâches complexes sur différentes applications.