चीनी AI अग्रणी कंपनी DeepSeek ने ओपन सोर्स वीक के समापन पर एक तकनीकी "परमाणु बम" फेंका, आधिकारिक तौर पर आधुनिक कंप्यूटिंग परिदृश्यों के लिए डिज़ाइन की गई उच्च-प्रदर्शन समानांतर फ़ाइल सिस्टम 3FS (फ़ायर-फ़्लायर फ़ाइल सिस्टम) और संबद्ध डेटा प्रोसेसिंग फ़्रेमवर्क Smallpond जारी किया। यह संयोजन AI प्रशिक्षण और अनुमान के डेटा प्रोसेसिंग दर्द बिंदुओं को सीधे संबोधित करता है, 6.6TiB/s के क्लस्टर थ्रूपुट के साथ एक नया उद्योग रिकॉर्ड स्थापित करता है, जो वितरित संग्रहण तकनीक के एक नए युग का प्रतीक है।
प्रदर्शन में क्रांति: आर्किटेक्चर नवाचार एक नया मानक परिभाषित करता है
विकेंद्रीकृत आर्किटेक्चर और मजबूत संगति अर्थ डिज़ाइन के माध्यम से, 3FS 180-नोड क्लस्टर में 6.6TiB/s संचयी पढ़ने थ्रूपुट प्राप्त करता है, जबकि एकल-नोड KVCache लुकअप पीक 40GiB/s से अधिक हो जाता है। इसका GraySort बेंचमार्क प्रदर्शन 3.66TiB/min (25 नोड्स) तक पहुँचता है, जो पारंपरिक समाधानों की तुलना में एक घातीय सुधार है। सिस्टम SSD और RDMA नेटवर्क विशेषताओं का गहन अनुकूलन करता है, हार्डवेयर बैंडविड्थ उपयोग दर को चरम पर ले जाता है, और हजारों कार्ड वाले AI प्रशिक्षण क्लस्टर को स्थिर डेटा आपूर्ति प्रदान करता है।
परिदृश्य पुनर्गठन: संपूर्ण श्रृंखला AI वर्कफ़्लो को सशक्त बनाती है
DeepSeek V3/R1 संस्करण के मुख्य बुनियादी ढाँचे के रूप में, 3FS डेटा प्रीप्रोसेसिंग, चेकपॉइंट स्टोरेज, वेक्टर सर्च और अनुमान कैशिंग जैसे महत्वपूर्ण पहलुओं में पूरी तरह से व्याप्त है। इसका साझा संग्रहण परत डिज़ाइन वितरित विकास की जटिलता को काफी सरल करता है, जबकि मजबूत संगति बड़े पैमाने पर समवर्ती संचालन की सुरक्षा सुनिश्चित करती है। संबद्ध ओपन-सोर्स Smallpond फ़्रेमवर्क हल्के PB-स्तर डेटा प्रोसेसिंग क्षमता का निर्माण करता है, DuckDB के आधार पर "सर्वर रहित" डेटा इंजीनियरिंग को लागू करता है, और संग्रहण से लेकर गणना तक एक पूर्ण पारिस्थितिकी तंत्र बनाता है।
ओपन-सोर्स रणनीति: AI बुनियादी ढाँचे के लोकतंत्रीकरण को तेज करना
इस बार 3FS और Smallpond के दोहरे ओपन-सोर्सिंग ने DeepSeek की "पाँच-दिवसीय लगातार लॉन्च" तकनीकी ओपनिंग गति को जारी रखा है। अपने स्वयं के AI व्यवसाय द्वारा सत्यापित सिस्टम को सार्वजनिक करके, DeepSeek डेटा-गहन अनुप्रयोगों की संग्रहण बाधाओं को तोड़ने के लिए उद्योग को आगे बढ़ा रहा है। विश्लेषण से पता चलता है कि यह समाधान Ceph, Lustre और अन्य पारंपरिक वितरित सिस्टम पर एक कम आयामी हमला कर सकता है, खासकर बड़े मॉडल प्रशिक्षण जैसे परिदृश्यों में नए प्रतिमानों को खोल सकता है।
