A tecnologia Gaudi2 da Intel demonstra desempenho excepcional em inferência de modelos de linguagem em larga escala, rivalizando com os aceleradores de IA da Nvidia. O desempenho do Gaudi2 em decodificação é comparável ao dos sistemas Nvidia H100, e até mesmo superior ao da Nvidia A100.
Considerando os preços de nuvem pública, o Gaudi2 também supera as placas Nvidia A100 e H100 em termos de custo-benefício, tanto para treinamento quanto para inferência.
A Intel planeja lançar a tecnologia Gaudi3 em 2024, oferecendo maior capacidade de processamento e largura de banda de rede, resultando em um aumento ainda maior de desempenho.