Midscene.js es una herramienta que utiliza la tecnología de IA para simplificar la automatización de IU. Mediante un modelo de lenguaje grande multimodal (LLM), comprende intuitivamente la interfaz de usuario y ejecuta las operaciones necesarias. El usuario solo necesita describir los pasos de interacción o el formato de datos deseado, y la IA completará la tarea. La importancia de esta tecnología radica en que reduce considerablemente la dificultad de mantenimiento de la automatización de IU, minimiza el trabajo de modificación de scripts debido a la reestructuración de la interfaz y, al mismo tiempo, aumenta la eficiencia y precisión de las pruebas automatizadas. Midscene.js admite diversas formas de integración, como complementos de navegador, Puppeteer y Playwright, y proporciona informes visuales y herramientas de depuración. Como proyecto de código abierto, Midscene.js utiliza la licencia MIT, garantizando la seguridad y privacidad de los datos.