Buddy Compiler ने MLIR और PyTorch को एकीकृत करके LLaMA का एंड-टू-एंड इनफेरेंस सफलतापूर्वक लागू किया है। इसका डिज़ाइन सिद्धांत तकनीकी मार्ग मानकीकरण, उपयोग में आसानी और अनुकूलन की उच्च सीमा पर ध्यान केंद्रित करता है। TorchDynamo और Aten IR के इंटरफेस के माध्यम से, यह PyTorch से MLIR में रूपांतरण को सक्षम बनाता है। इसे X86AVX512 प्लेटफ़ॉर्म पर परीक्षण किया गया है, और भविष्य में अधिक हार्डवेयर प्लेटफ़ॉर्म का समर्थन करने की योजना है।
Buddy Compiler ने LLaMA 2 एंड-टू-एंड इनफेरेंस को सफलतापूर्वक लागू किया

站长之家
यह लेख AIbase दैनिक से है
【AI दैनिक】 कॉलम में आपका स्वागत है! यहाँ आर्टिफ़िशियल इंटेलिजेंस की दुनिया का पता लगाने के लिए आपकी दैनिक मार्गदर्शिका है। हर दिन हम आपके लिए AI क्षेत्र की हॉट कंटेंट पेश करते हैं, डेवलपर्स पर ध्यान केंद्रित करते हैं, तकनीकी रुझानों को समझने में आपकी मदद करते हैं और अभिनव AI उत्पाद अनुप्रयोगों को समझते हैं।