La conocida herramienta de evaluación comparativa Geekbench ha lanzado una nueva herramienta multiplataforma diseñada para evaluar el rendimiento de los dispositivos en cargas de trabajo intensivas en IA. Esta herramienta, llamada Geekbench AI, evalúa la capacidad de un dispositivo para manejar aplicaciones de aprendizaje automático al probar el rendimiento de su CPU, GPU y NPU (procesador de red neuronal).
Primate Labs, el desarrollador de Geekbench, ha estado desarrollando este software bajo el nombre de Geekbench ML, lanzando una versión preliminar en 2021. Ahora, lo han renombrado como Geekbench AI, un cambio que parece reflejar la actual tendencia de la tecnología de IA. Para explorar completamente el rendimiento de diferentes hardware en diversas tareas relacionadas con la IA, Geekbench AI evalúa el rendimiento desde dos perspectivas: velocidad y precisión, y admite varios frameworks, incluyendo ONNX, CoreML, TensorFlow Lite y OpenVINO.
Los resultados de las pruebas de Geekbench AI incluyen tres puntuaciones: precisión completa, precisión de media precisión y precisión cuantificada. Primate Labs indica que estas puntuaciones también incluyen una medición de precisión para evaluar qué tan cerca está la salida de la carga de trabajo del resultado real, es decir, "la precisión del modelo para realizar la tarea esperada".
Actualmente, Geekbench AI ya está disponible para Windows, macOS, Linux, Android e iOS. Los usuarios pueden descargarlo y probarlo. Sin embargo, para comprender completamente la relación entre estas puntuaciones de prueba y el rendimiento en tareas reales, necesitamos más tiempo para probar dispositivos con funciones de IA locales, como Copilot Plus PC y varios teléfonos inteligentes nuevos.
A diferencia de las pruebas tradicionales de velocidad de fotogramas o tiempos de carga, la aparición de Geekbench AI significa que es posible que debamos comenzar a prestar atención a nuevos indicadores, como la precisión de la predicción de texto o el rendimiento de los editores de imágenes de IA generativa. Esto refleja cómo la tecnología de IA está cambiando profundamente la forma en que evaluamos el rendimiento de los dispositivos.
El lanzamiento de Geekbench AI sin duda proporciona un nuevo estándar para la evaluación de la capacidad de IA de los dispositivos. A medida que más dispositivos integren funciones de IA, la importancia de este tipo de herramientas de prueba aumentará. No solo ayudará a los consumidores a comprender y comparar mejor el rendimiento de IA de diferentes dispositivos, sino que también proporcionará a los fabricantes de hardware indicadores de referencia para optimizar el rendimiento de IA.
Sin embargo, también debemos reconocer que las pruebas de rendimiento de IA se encuentran en una etapa temprana. La relación entre los resultados de las pruebas de Geekbench AI y la experiencia real del usuario, y cómo reflejan con precisión el rendimiento del dispositivo en diferentes escenarios de aplicación de IA, requieren más observación y verificación.
En el futuro, es probable que veamos más herramientas de prueba de rendimiento de IA similares que evaluarán la capacidad de IA de los dispositivos desde diferentes perspectivas. Esta tendencia también refleja que la tecnología de IA se está convirtiendo en una dimensión importante para juzgar el rendimiento de los dispositivos, tan importante como el rendimiento tradicional de la CPU y la GPU.
