लेनोवो ने आज अपनी पहली AMD AI बड़े भाषा मॉडल प्रशिक्षण सर्वर - लेनोवो वेन्टियन WA7785a G3 की घोषणा की है, जिसने सिंगल मशीन पर 671B (पूर्ण संस्करण) DeepSeek बड़े भाषा मॉडल को तैनात करते हुए, 6708 टोकन/सेकंड की उच्चतम थ्रूपुट दर हासिल की है, और एक बार फिर एकल सर्वर पर अल्ट्रा-लार्ज-स्केल मॉडल के प्रदर्शन का रिकॉर्ड तोड़ दिया है।
जानकारी के अनुसार, यह प्रदर्शन में वृद्धि लेनोवो वान्चुआन हेटेरोजीनस इंटेलिजेंट कंप्यूटिंग प्लेटफॉर्म के मजबूत समर्थन के कारण संभव हुआ है। लेनोवो ने मेमोरी एक्सेस ऑप्टिमाइज़ेशन, वीडियो मेमोरी ऑप्टिमाइज़ेशन, इनोवेटिव PCIe5.0 फुल इंटरकनेक्शन आर्किटेक्चर और SGLang फ्रेमवर्क में चुने हुए सबसे अच्छे ऑपरेटरों जैसे कई नवीन तकनीकी तरीकों का उपयोग करके, प्री-ट्रेनिंग, पोस्ट-ट्रेनिंग और इन्फ्रेंस की पूरी प्रक्रिया को लगातार ऑप्टिमाइज़ किया है। वास्तविक परीक्षण के परिणामों से पता चलता है कि लेनोवो वेन्टियन WA7785a G3 सर्वर पर सिंगल मशीन पर DeepSeek671B बड़े भाषा मॉडल को तैनात करते हुए, उच्चतम थ्रूपुट दर 6708 टोकन/सेकंड तक पहुँच गई है।
चित्र स्रोत टिप्पणी: यह चित्र AI द्वारा उत्पन्न किया गया है, और छवि अधिकार सेवा प्रदाता Midjourney है।
समस्या वार्तालाप परिदृश्य (संदर्भ अनुक्रम लंबाई 128/1K) के अनुकरण में, यह सर्वर अधिकतम 158 समवर्ती संख्याओं का समर्थन कर सकता है, TPOT (प्रति आउटपुट टोकन समय) 93 मिलीसेकंड है, और TTFT (पहले टोकन का समय) 2.01 सेकंड है; जबकि कोड जेनरेशन परिदृश्य (संदर्भ अनुक्रम लंबाई 512/4K) के अनुकरण में, समवर्ती संख्या 140 तक पहुँच सकती है, TPOT 100 मिलीसेकंड है, और TTFT 5.53 सेकंड है। लेनोवो ने कहा कि यह प्रदर्शन दर्शाता है कि एकल लेनोवो वेन्टियन WA7785a G3 सर्वर 1500 लोगों के एक सामान्य आकार के उद्यम के सामान्य उपयोग का समर्थन कर सकता है, जो लेनोवो वेन्टियन WA7780G3 सर्वर द्वारा पूर्ण संस्करण DeepSeek बड़े भाषा मॉडल की कुल थ्रूपुट दर को 2500 टोकन/सेकंड से अधिक करने के बाद, इस बड़े भाषा मॉडल के इन्फ्रेंस प्रदर्शन में एक और बड़ी छलांग है।
लेनोवो ने इस बात पर ज़ोर दिया कि यह तकनीकी सफलता लेनोवो चाइना इन्फ्रास्ट्रक्चर बिज़नेस ग्रुप, लेनोवो रिसर्च इंस्टिट्यूट ICI प्रयोगशाला और AMD के संयुक्त डिजाइन, समन्वित अनुकूलन और संयुक्त उपलब्धि का परिणाम है। साथ ही, यह अंतिम परिणाम नहीं है, लेनोवो और AMD उच्च प्रदर्शन में सुधार के लिए गहन अनुकूलन के नए तरीकों की खोज जारी रख रहे हैं।