बाइटडांस ने हाल ही में एआईब्रिक्स लॉन्च किया है, जो एक नया ओपन-सोर्स इन्फ्रेंस सिस्टम है जो बड़े भाषा मॉडल के लिए डिज़ाइन किया गया है। यह सिस्टम उच्च प्रदर्शन और स्केलेबिलिटी प्रदान करता है, जिससे बड़े भाषा मॉडल को और अधिक कुशलता से तैनात किया जा सकता है।

मोड़ा समुदाय ने vLLM और FastChat के साथ सहयोग किया, कुशल LLM अनुमान और तैनाती सेवा प्रदान की। डेवलपर्स FastChat में अनुमान इंजन के रूप में vLLM का उपयोग कर सकते हैं, जो उच्च थ्रूपुट मॉडल अनुमान प्रदान करता है। FastChat एक ओपन प्लेटफॉर्म है, जो LLM आधारित ChatBot के लिए प्रशिक्षण, सेवा और मूल्यांकन करता है। vLLM कैलिफोर्निया विश्वविद्यालय बर्कले, स्टैनफोर्ड विश्वविद्यालय और कैलिफोर्निया विश्वविद्यालय सैन डिएगो के शोधकर्ताओं द्वारा विकसित किया गया LLM सेवा सेट है।