A Intel lançou o kit de ferramentas Extension for Transformers, que utiliza a tecnologia LLM Runtime para melhorar significativamente o desempenho de inferência de grandes modelos de linguagem (LLMs) em CPUs, alcançando até 40 vezes mais velocidade. Este kit de ferramentas otimiza os núcleos, suporta diversas opções de quantização e resolve desafios em cenários de bate-papo, demonstrando a liderança da Intel na área de inteligência artificial.
Intel lança o kit de ferramentas Extension for Transformers, proporcionando aumento de 40 vezes no desempenho de inferência de modelos de linguagem grandes

站长之家
Este artigo é do AIbase Daily
Bem-vindo à coluna [AI Daily]! Este é o seu guia para explorar o mundo da inteligência artificial todos os dias. Todos os dias apresentamos os destaques da área de IA, com foco nos desenvolvedores, para o ajudar a obter insights sobre as tendências tecnológicas e a compreender as aplicações inovadoras de produtos de IA.