Web LLM est un package JavaScript modulaire et personnalisable qui intègre directement les fonctionnalités de chat basées sur des modèles linguistiques dans votre navigateur web. Tout fonctionne en interne, sans serveur, et est accéléré par WebGPU. Cela ouvre de nombreuses possibilités intéressantes pour créer des assistants IA et préserver la confidentialité grâce à l'accélération GPU. Ce projet est un projet dérivé de MLC LLM, qui permet d'exécuter localement des LLM sur iPhone et autres environnements locaux.