Buddy Compiler, mediante la integración de MLIR y PyTorch, ha logrado con éxito la inferencia de extremo a extremo de LLaMA. Sus principios de diseño se centran en la estandarización de la ruta tecnológica, un bajo umbral de aprendizaje y un alto límite de optimización. A través de la conexión con TorchDynamo y Aten IR, se ha logrado la conversión de PyTorch a MLIR. Ya se ha probado en la plataforma X86AVX512, y se planea admitir más plataformas de hardware en el futuro.
Buddy Compiler logra la inferencia de extremo a extremo de LLaMA 2

站长之家
Este artículo proviene de AIbase Daily
¡Bienvenido a la columna [AI Diario]! Aquí está tu guía diaria para explorar el mundo de la inteligencia artificial. Todos los días te presentamos el contenido más destacado en el campo de la IA, centrándonos en los desarrolladores para ayudarte a comprender las tendencias tecnológicas y conocer las aplicaciones innovadoras de productos de IA.