गूगल रिसर्च इंस्टीट्यूट ने हाल ही में क्रांतिकारी Titans श्रृंखला मॉडल आर्किटेक्चर जारी किया, जिसने बायोनिक डिज़ाइन के माध्यम से 2 मिलियन टोकन संदर्भ लंबाई को पार किया, और भविष्य में संबंधित प्रौद्योगिकियों को ओपन-सोर्स करने की योजना बनाई है। इस आर्किटेक्चर की मुख्य नवाचार गहन न्यूरल दीर्घकालिक स्मृति मॉड्यूल का परिचय है, जिसका डिज़ाइन मानव स्मृति प्रणाली से प्रेरित है। Titans ने शार्ट टर्म मेमोरी की तेज़ प्रतिक्रिया क्षमता और लॉन्ग टर्म मेमोरी की स्थायी विशेषताओं को巧妙ता से जोड़ा है, साथ ही तात्कालिक संदर्भ को संसाधित करने के लिए ध्यान तंत्र का उपयोग करता है, जिससे एक प्रभावी जानकारी संसाधन प्रणाली का निर्माण होता है। गूगल के अनुसार.

मिनीमैक्स ने 15 जनवरी 2025 को अपने नए श्रृंखला मॉडल मिनीमैक्स-01 को ओपन-सोर्स करने की घोषणा की, जिसमें मूल भाषा बड़े मॉडल मिनीमैक्स-टेक्स्ट-01 और दृष्टि बहु-मोडल बड़े मॉडल मिनीमैक्स-VL-01 शामिल हैं। मिनीमैक्स-01 श्रृंखला ने आर्किटेक्चर में大胆 नवाचार किया है, पहली बार बड़े पैमाने पर रेखीय ध्यान तंत्र को लागू किया गया है, जो पारंपरिक ट्रांसफार्मर आर्किटेक्चर की सीमाओं को तोड़ता है। इसके पैरामीटर की मात्रा 4560 अरब तक है, एक बार में सक्रियता 459 अरब है, समग्र प्रदर्शन और विदेश

हाल ही में बड़े भाषा मॉडल (LLM) में तेजी से विकास हुआ है, जिसमें Transformer मॉडल का महत्वपूर्ण योगदान है। Transformer का मुख्य भाग ध्यान तंत्र है, जो एक सूचना फ़िल्टर की तरह कार्य करता है, जिससे मॉडल वाक्य के सबसे महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करता है। लेकिन अत्यंत शक्तिशाली Transformer भी अप्रासंगिक जानकारी से प्रभावित हो सकता है, जैसे कि जब आप पुस्तकालय में एक किताब खोजने की कोशिश कर रहे हों और अप्रासंगिक किताबों के एक ढेर में डूब जाएं, जिससे आपकी दक्षता स्वाभाविक रूप से कम हो जाती है। इस ध्यान तंत्र द्वारा उत्पन्न अप्रासंगिक जानकारी को शोध पत्रों में ध्यान शोर के रूप में संदर्भित किया जाता है। कल्पना करें, आप इसे पढ़ना चाहते हैं।

देशी ओपन-सोर्स वीडियो जनरेशन मॉडल CogVideoX-5B आधिकारिक रूप से MoDou ModelScope समुदाय में ओपन-सोर्स किया गया है, जिसने वीडियो जनरेशन की गुणवत्ता और दृश्य प्रभाव को महत्वपूर्ण रूप से बढ़ा दिया है। बड़े पैमाने पर DiT मॉडल पर आधारित, यह मॉडल 3D कारणात्मक वैरिएशनल ऑटोएन्कोडर, एक्सपर्ट ट्रांसफार्मर तकनीक का उपयोग करता है, और 3D-RoPE स्थान कोडिंग और 3D पूर्ण ध्यान तंत्र के माध्यम से समय-स्थान संयुक्त मॉडलिंग को लागू करता है। प्रगतिशील प्रशिक्षण तकनीक का उपयोग करते हुए, मॉडल को स्पष्ट गति विशेषताओं, लगातार और उच्च गुणवत्ता वाले लंबे समय तक वीडियो उत्पन्न करने में सक्षम बनाता है।

इस साल जुलाई में, आई श टेक्नोलॉजी ने नए अपडेटेड AI वीडियो जनरेशन उत्पाद PixVerse V2 को लॉन्च किया, जो Diffusion+Transformer (DiT) बुनियादी ढांचे का उपयोग करता है और वीडियो जनरेशन तकनीक में कई नवाचारों को लागू करता है। PixVerse V2 लंबी, अधिक सुसंगत और दिलचस्प वीडियो जनरेशन क्षमता प्रदान करता है और एक बार में कई वीडियो क्लिप जनरेट करने का समर्थन करता है।

ऐश टेक्नोलॉजी ने PixVerse V2 लॉन्च किया, जो एक AI-आधारित वीडियो बनाने का उपकरण है, जिसका उद्देश्य उपयोगकर्ताओं की रचनात्मकता को उजागर करना है। इस उत्पाद में Diffusion+Transformer आर्किटेक्चर का उपयोग किया गया है, जिसमें स्थान-काल ध्यान तंत्र है, जो बहु-आयामी जानकारी को सटीक रूप से समझ और उत्पन्न करने में सक्षम है, उच्च दक्षता के लिए प्रशिक्षण और ऑप्टिमाइजेशन का समर्थन करता है। मुख्य विशेषताओं में शामिल हैं: स्थान और समय की धारणा को बढ़ाना, पाठ जानकारी को सटीक रूप से संरेखित करना, सुचारू और संगत वीडियो क्लिप बनाना (एकल 8 सेकंड तक, कई 40 सेकंड तक), उपयोगकर्ता के अनुकूल, एक क्लिक में निरंतर वीडियो सामग्री उत्पन्न करना और द्वितीयक संपादन का समर्थन करना।

AlphaFold3 (AF3) DeepMind टीम का नवीनतम उन्नत उपकरण है, जो प्रोटीन, न्यूक्लिक एसिड और लघु अणुओं की संरचना का भविष्यवाणी करने के लिए है। एकल प्रोटीन अनुक्रम और इसके परिसर संरचना के विश्लेषण की क्षमता के साथ, AF3 ने नुस्खे से तीन आयामी संरचना में परिवर्तन किया। इसका ढांचा तीन मुख्य मॉड्यूलों से बना है: इनपुट तैयारी अनुक्रम को साफ करना, समान संरचना वाले अणुओं की खोज करना; निरूपण अध्ययन में बहु-स्तरीय ध्यान तंत्र का उपयोग करके निरूपण को अपडेट करना; संरचना भविष्यवाणी आवश्यकतावादी प्रसार मॉडल के माध्यम से की जाती है। AF3 रचनात्मक रूप से विभिन्न प्रकार के अणुओं को अद्वितीय संख्याओं में बदलता है।