Intel Lança Kit de Ferramentas Extension for Transformers

A Intel lançou o kit de ferramentas Extension for Transformers, que utiliza a tecnologia LLM Runtime para melhorar significativamente o desempenho de inferência de grandes modelos de linguagem (LLMs) em CPUs, alcançando até 40 vezes mais velocidade. Este kit de ferramentas otimiza os núcleos, suporta diversas opções de quantização e resolve desafios em cenários de bate-papo, demonstrando a liderança da Intel na área de inteligência artificial.