FlashInfer est une bibliothèque de noyaux GPU hautes performances conçue pour les services de grands modèles linguistiques (LLM). Elle améliore considérablement les performances des LLM lors de l'inférence et du déploiement grâce à des mécanismes d'attention clairsemée/dense efficaces, une planification de la charge équilibrée et des optimisations de l'utilisation de la mémoire. FlashInfer prend en charge les API PyTorch, TVM et C++, et s'intègre facilement aux projets existants. Ses principaux avantages sont une implémentation de noyaux efficace, une capacité de personnalisation flexible et une large compatibilité. FlashInfer a été développé pour répondre aux besoins croissants des applications LLM, en offrant une inférence plus efficace et plus fiable.