Intel lanza Extension for Transformers

Intel ha lanzado el kit de herramientas Extension for Transformers, que utiliza la tecnología LLM Runtime para mejorar significativamente el rendimiento de la inferencia de modelos de lenguaje grandes (LLM) en CPUs, alcanzando hasta 40 veces la velocidad. Este kit de herramientas optimiza los núcleos, admite varias opciones de cuantificación y resuelve problemas en escenarios de chat, demostrando el liderazgo de Intel en el campo de la inteligencia artificial.