A renomada ferramenta de benchmark Geekbench lançou uma nova ferramenta multiplataforma projetada para avaliar o desempenho de dispositivos em cargas de trabalho intensivas em IA. Chamada Geekbench AI, a ferramenta testa o desempenho da CPU, GPU e NPU (processador de rede neural) de um dispositivo para determinar sua capacidade de lidar com aplicativos de aprendizado de máquina.
A Primate Labs, desenvolvedora do Geekbench, vinha desenvolvendo este software sob o nome de Geekbench ML e lançou uma versão de prévia em 2021. Agora, eles o renomearam para Geekbench AI, uma mudança que parece refletir a atual onda de tecnologia de IA. Para explorar completamente o desempenho de diferentes hardwares em várias tarefas relacionadas à IA, o Geekbench AI avalia o desempenho em duas dimensões: velocidade e precisão, e suporta vários frameworks, incluindo ONNX, CoreML, TensorFlow Lite e OpenVINO.
Os resultados dos testes do Geekbench AI incluem três pontuações: precisão total, precisão de meia precisão e precisão de quantização. A Primate Labs afirma que essas pontuações também incluem uma medição de precisão, usada para avaliar o quão próximos os resultados da carga de trabalho estão dos resultados reais, ou seja, "a precisão do modelo em executar a tarefa esperada".
Atualmente, o Geekbench AI já foi lançado para Windows, macOS, Linux, Android e iOS, e os usuários podem baixá-lo e experimentá-lo. No entanto, para entender completamente a correlação entre essas pontuações de teste e o desempenho em tarefas reais, precisamos de mais tempo para testar dispositivos com recursos de IA locais, como o Copilot Plus PC e vários novos smartphones.
Diferentemente dos testes tradicionais de taxa de quadros ou tempo de carregamento, o surgimento do Geekbench AI significa que podemos precisar começar a prestar atenção em novas métricas, como a precisão da previsão de texto ou o desempenho de editores de imagens de IA generativa. Isso reflete como a tecnologia de IA está mudando profundamente a maneira como avaliamos o desempenho dos dispositivos.
O lançamento do Geekbench AI, sem dúvida, fornece um novo padrão para a avaliação da capacidade de IA dos dispositivos. À medida que mais e mais dispositivos integram recursos de IA, a importância dessas ferramentas de teste aumentará. Isso não apenas ajudará os consumidores a entender e comparar melhor o desempenho de IA de diferentes dispositivos, mas também fornecerá aos fabricantes de hardware indicadores de referência para otimizar o desempenho de IA.
No entanto, também devemos reconhecer que os testes de desempenho de IA ainda estão em estágio inicial. Como os resultados do Geekbench AI se correlacionam com a experiência do usuário real e como eles refletem com precisão o desempenho do dispositivo em diferentes cenários de aplicativos de IA ainda precisam de mais observação e verificação.
No futuro, podemos ver o surgimento de mais ferramentas de teste de desempenho de IA semelhantes, que avaliarão a capacidade de IA dos dispositivos de diferentes ângulos. Essa tendência também reflete que a tecnologia de IA está se tornando uma dimensão importante na avaliação do desempenho de dispositivos, tão importante quanto o desempenho tradicional da CPU e da GPU.
