AI अनुसंधान कंपनी Epoch AI के विश्लेषण के अनुसार, गूगल दुनिया की सबसे बड़ी AI कंप्यूटिंग क्षमता का मालिक हो सकता है। यह लाभ गूगल के विशेष टेंसर प्रोसेसिंग यूनिट्स (TPUs) से आया है, जो कम से कम 600,000 Nvidia H100GPU के बराबर कंप्यूटिंग क्षमता प्रदान करते हैं। Epoch AI के शोधकर्ताओं ने कहा: "गूगल के विशाल TPU बेड़े और उनके NVIDIA GPU को देखते हुए, गूगल के पास किसी एकल कंपनी में सबसे अधिक AI कंप्यूटिंग क्षमता हो सकती है।" चित्र स्रोत नोट: चित्र AI द्वारा उत्पन्न किया गया,

AI अनुसंधान कंपनी Epoch AI के विश्लेषण के अनुसार, गूगल के पास दुनिया में सबसे बड़ी आर्टिफिशियल इंटेलिजेंस कंप्यूटिंग क्षमता हो सकती है। यह अग्रणी स्थिति मुख्य रूप से इसके स्व-विकसित टेंसोर प्रोसेसिंग यूनिट (TPU) के कारण है, जिसकी कंप्यूटिंग क्षमता कम से कम 600,000 Nvidia H100GPU के बराबर है। Epoch AI के शोधकर्ताओं ने指出, गूगल के विशाल TPU सरणियों और इसके द्वारा उपयोग किए जा रहे Nvidia GPU के मद्देनज़र, गूगल वर्तमान में किसी एकल कंपनी में AI कंप्यूटिंग क्षमता का सबसे मजबूत हो सकता है।

एलोन मस्क की xAI कंपनी ने 'Colossus' नामक कृत्रिम बुद्धिमत्ता प्रशिक्षण प्रणाली को लॉन्च करने की घोषणा की है, जिसका मूल 100,000 Nvidia H100 GPU है, जिसे वैश्विक स्तर पर सबसे शक्तिशाली AI प्रशिक्षण प्रणाली माना जा रहा है। यह प्रणाली अमेरिका के ऊर्जा विभाग के Aurora सुपरकंप्यूटर से भी अधिक शक्तिशाली हो सकती है। Colossus की ताकत मुख्य रूप से Nvidia के H100 GPU पर निर्भर है, जो भाषा मॉडल चलाने के दौरान पिछले GPU की तुलना में 30 गुना तेजी से काम करता है, विशेष रूप से Trans आधारित।

Meta कंपनी ने नवीनतम AI मॉडल Llama3.1 के प्रशिक्षण के लिए 16,384 GPU का उपयोग किया, जिसने AI तकनीक की आश्चर्यजनक विकास गति को प्रदर्शित किया। हालांकि, इस प्रक्रिया में औसतन हर 3 घंटे में एक बार समस्या उत्पन्न होती है, कुल 419 समस्याएं आईं, जिनमें से लगभग आधे H100 GPU और उनके HBM3 मेमोरी से संबंधित हैं। यह डेटा दर्शाता है कि सुपरकंप्यूटिंग सिस्टम प्रदर्शन में सुधार के प्रयास में विश्वसनीयता की चुनौतियों का सामना करते हैं। Llama3.1 प्रशिक्षण समूह की जटिलता एक छोटे शहर के तंत्रिका नेटवर्क के समान है, जिससे बार-बार समस्याएं उत्पन्न होती हैं। Meta टीम ने रणनीतियों को अपनाया, जैसे कि कमी।

मेटा ने Llama-3 को प्रशिक्षण देने के लिए दो 24K H100GPU क्लस्टर जारी किए। Llama-3 RoCEv2 नेटवर्क और Tectonic/Hammerspace के NFS/FUSE नेटवर्क भंडारण का उपयोग करता है। अपेक्षित है कि Llama-3 अप्रैल के अंत या मई के मध्य में ऑनलाइन होगा, यह संभवतः एक मल्टी-मॉडल मॉडल होगा और इसे ओपन-सोर्स जारी किया जाएगा। मेटा का 2024 के अंत तक 600000 H100 की गणना शक्ति रखने का योजना है।