WebLLM est un moteur d'inférence de modèle linguistique haute performance pour navigateur web, utilisant WebGPU pour l'accélération matérielle. Il permet d'exécuter des opérations de modèles linguistiques puissants directement dans le navigateur web, sans traitement côté serveur. Ce projet vise à intégrer directement les grands modèles linguistiques (LLM) côté client, afin de réduire les coûts, d'améliorer la personnalisation et de protéger la vie privée. Il prend en charge plusieurs modèles, est compatible avec l'API OpenAI, est facile à intégrer à vos projets, prend en charge l'interaction en temps réel et le traitement en continu, et est idéal pour créer des assistants IA personnalisés.