Intel lance Extension for Transformers

Intel a publié l'Extension for Transformers, un kit d'outils qui exploite la technologie LLM Runtime pour améliorer considérablement les performances d'inférence des grands modèles linguistiques (LLM) sur les processeurs, avec un gain de performance pouvant atteindre 40 fois supérieur. Ce kit d'outils optimise les noyaux, prend en charge plusieurs options de quantification et résout les problèmes liés aux scénarios de conversation. Il témoigne du leadership d'Intel dans le domaine de l'intelligence artificielle.