Midscene.js est un outil utilisant l'intelligence artificielle pour simplifier l'automatisation des interfaces utilisateur. Grâce à un modèle linguistique multimodal de grande taille (LLM), il comprend intuitivement les interfaces utilisateur et exécute les opérations nécessaires. L'utilisateur n'a qu'à décrire les étapes d'interaction ou le format de données souhaité, l'IA se charge du reste. L'importance de cette technologie réside dans la réduction significative de la difficulté de maintenance de l'automatisation de l'interface utilisateur, la diminution du travail de modification des scripts dû à la restructuration de l'interface, et l'amélioration de l'efficacité et de la précision des tests automatisés. Midscene.js prend en charge plusieurs modes d'intégration, tels que les extensions de navigateur, Puppeteer et Playwright, et fournit des outils de rapports et de débogage visuels. En tant que projet open source, Midscene.js est sous licence MIT, garantissant la sécurité et la confidentialité des données.