बाइटडांस ने हाल ही में अपने नवीनतम विकसित AIBrix अनुमान प्रणाली को ओपन सोर्स करने की घोषणा की है। यह प्रणाली विशेष रूप से vLLM अनुमान इंजन के लिए बनाई गई है, जिसका उद्देश्य एक स्केलेबल और किफायती अनुमान नियंत्रण तल प्रदान करना है जो उद्यमों की बढ़ती AI आवश्यकताओं को पूरा करता है।
AIBrix का शुभारंभ एक नए चरण की शुरुआत का प्रतीक है, परियोजना टीम इस ओपन सोर्स प्रोजेक्ट के माध्यम से स्केलेबल अनुमान बुनियादी ढाँचे के निर्माण के लिए आधार तैयार करना चाहती है। यह प्रणाली क्लाउड-नेटिव समाधानों का एक पूरा सेट प्रदान करती है, जिसका उद्देश्य बड़े भाषा मॉडल की तैनाती, प्रबंधन और स्केलेबिलिटी को अनुकूलित करना है। विशेष रूप से, यह उद्यम-स्तरीय आवश्यकताओं के लिए गहराई से अनुकूलित है, यह सुनिश्चित करता है कि उपयोगकर्ता उपयोग करते समय अधिक कुशल सेवा का आनंद ले सकें।
कार्यक्षमता के संदर्भ में, पहला AIBrix संस्करण कुछ मुख्य विशेषताओं पर केंद्रित है। सबसे पहले उच्च घनत्व वाला LoRA (कम रैंक अनुकूलन) प्रबंधन है, जिसका उद्देश्य लाइटवेट मॉडल के अनुकूलन समर्थन को सरल बनाना है, जिससे उपयोगकर्ता मॉडल का अधिक आसानी से प्रबंधन कर सकें। दूसरा, AIBrix LLM गेटवे और रूटिंग कार्यक्षमता प्रदान करता है, जो कई मॉडल और प्रतियों के ट्रैफ़िक का कुशलतापूर्वक प्रबंधन और आवंटन कर सकता है, जिससे यह सुनिश्चित होता है कि अनुरोध तेज़ी से और सटीक रूप से लक्षित मॉडल तक पहुँच सकें। इसके अतिरिक्त, LLM अनुप्रयोगों के लिए स्वचालित स्केलर वास्तविक समय की आवश्यकताओं के अनुसार अनुमान संसाधनों को गतिशील रूप से समायोजित कर सकता है, जिससे सिस्टम की लचीलापन और प्रतिक्रिया समय में सुधार होता है।
बाइटडांस की AIBrix टीम का कहना है कि वे वितरित KV कैश के विस्तार, पारंपरिक संसाधन प्रबंधन सिद्धांतों को शामिल करने और प्रदर्शन विश्लेषण के आधार पर कंप्यूटिंग दक्षता में सुधार जैसे तरीकों से सिस्टम के विकास और अनुकूलन को आगे बढ़ाने की योजना बना रहे हैं।
