तेजी से विकसित हो रहे जनरेटिव एआई क्षेत्र में, Nous Research टीम एक अनोखा प्रयोग कर रही है: वे दुनिया भर में वितरित मशीनों का उपयोग करके 15 अरब पैरामीटर के बड़े भाषा मॉडल (LLM) का पूर्व-प्रशिक्षण कर रहे हैं, यह प्रक्रिया पारंपरिक रूप से महंगे और ऊर्जा खपत करने वाले डेटा केंद्रों या सुपरक्लस्टरों में केंद्रित विकास की आवश्यकता को समाप्त करती है। Nous Research अपने विशेष साइट distro.nousresearch.com पर इस पूर्व-प्रशिक्षण प्रक्रिया का सीधा प्रसारण कर रहा है, वास्तविक समय में ज्ञान साझा करते हुए।

Nous Research टीम ने DisTrO नामक एक नए अनुकूलक को लॉन्च किया है, जो वितरण इंटरनेट प्रशिक्षण में सूचना संचरण की आवश्यकताओं को कम करने के लिए डिज़ाइन किया गया है, जिससे AI मॉडल प्रशिक्षण की दक्षता में उल्लेखनीय सुधार होता है। DisTrO सामान्य नेटवर्क शर्तों में प्रशिक्षण करने में सक्षम है, जिससे वैश्विक व्यक्तियों और संस्थाओं को अपने कंप्यूटर के माध्यम से AI विकास में भाग लेने की अनुमति मिलती है, जो बड़ी कंपनियों द्वारा AI प्रशिक्षण के एकाधिकार को तोड़ता है। पारंपरिक एल्गोरिदम All-Reduce की तुलना में, DisTrO की दक्षता में 857 गुना तक का सुधार होता है, हर प्रशिक्षण चरण में।

एक सिर्फ 10 लोगों की स्टार्टअप कंपनी Nous Research ने अपने AI मॉडल Hermes3 के साथ टेक दिग्गज Meta को चुनौती दी है। Hermes3 Llama3.1 मॉडल पर माइक्रो-ट्यून किया गया है, जो मजबूत प्रदर्शन, VRAM और डिस्क आवश्यकताओं का अनुकूलन करता है, और एकल नोड पर चलता है। यह मॉडल बातचीत की क्षमता, पाठ की गुणवत्ता की समझ और समेकित बुद्धिमान क्षमताओं में उत्कृष्टता प्रदर्शित करता है, जो पारंपरिक भाषा मॉडलिंग से परे एक उच्च स्तरीय क्षमता को दिखाता है। Nous Research ओपन-सोर्स पर ध्यान केंद्रित करती है।