गूगल DeepMind टीम ने आधिकारिक रूप से WebLI-100B डेटा सेट लॉन्च किया है, जो 1000 अरब चित्र - पाठ युग्मों का एक विशाल डेटा सेट है, जिसका उद्देश्य कृत्रिम बुद्धिमत्ता दृश्य भाषा मॉडल की सांस्कृतिक विविधता और बहुभाषिकता को बढ़ाना है। इस डेटा सेट के माध्यम से, शोधकर्ता विभिन्न संस्कृतियों और भाषा पर्यावरण में दृश्य भाषा मॉडल के प्रदर्शन में सुधार करने की आशा करते हैं, साथ ही विभिन्न उपसमूहों के बीच प्रदर्शन के अंतर को कम करने का प्रयास करते हैं, ताकि कृत्रिम बुद्धिमत्ता की समावेशिता बढ़ाई जा सके। दृश्य भाषा मॉडल (VLMs) को यह सीखने के लिए बड़े पैमाने पर डेटा सेट पर निर्भर रहना पड़ता है कि कैसे जोड़ना है।

मेटा एक कॉपीराइट उल्लंघन के मामले का सामना कर रहा है, जिसमें वादी के वकील का कहना है कि मेटा के सीईओ मार्क ज़करबर्ग ने कंपनी को लुटेरे ई-बुक और लेखों के डेटा सेट का उपयोग करने की अनुमति दी है ताकि उसके Llama AI मॉडल को प्रशिक्षित किया जा सके। यह मामले कई तकनीकी दिग्गजों के खिलाफ कई कॉपीराइट मुकदमों में से एक है, जिन पर आरोप लगाया गया है कि उन्होंने बिना अनुमति के कॉपीराइटेड कार्यों का उपयोग एआई मॉडल के लिए प्रशिक्षण में किया। बुधवार रात कैलिफ़ोर्निया के उत्तरी जिले के जिला न्यायालय में प्रस्तुत दस्तावेज़ों में, वादी ने मेटा के पिछले वर्ष के अंत के बयान की पुष्टि की।

हाल ही में, राष्ट्रीय विकास और सुधार आयोग, राष्ट्रीय डेटा ब्यूरो और औद्योगिक और सूचना प्रौद्योगिकी मंत्रालय ने 'राष्ट्रीय डेटा बुनियादी ढांचे निर्माण दिशा-निर्देश' जारी किया। यह दिशा-निर्देश देशभर में सक्रिय रूप से सरकारी सेवा बड़े मॉडल के निर्माण को आगे बढ़ाने, सरकारी सेवाओं के स्मार्ट बनाने की प्रक्रिया को बढ़ावा देने और इस तरह सरकार की सेवाओं की दक्षता और गुणवत्ता को बढ़ाने के लिए है। दिशा-निर्देश में डेटा लेबलिंग उद्योग के महत्व पर जोर दिया गया है, और विभिन्न क्षेत्रों को डेटा लेबलिंग के पारिस्थितिकी तंत्र के निर्माण, क्षमताओं के विकास और यथार्थ अनुप्रयोगों में खोज और नवाचार करने के लिए प्रोत्साहित किया गया है। सरकार सार्वजनिक डेटा को लिंक करेगी, सक्रिय रूप से कंपनियों और व्यक्तियों के डेटा को सार्वजनिक करेगी, और उच्च गुणवत्ता वाले डेटा संसाधनों की स्थापना करेगी।

हाल ही में, शंघाई की रोबोटिक स्टार्टअप कंपनी ज़िज़ुआन रोबोटिक्स ने शंघाई आर्टिफिशियल इंटेलिजेंस प्रयोगशाला, राष्ट्रीय-स्थानीय मानव-आधारित रोबोट नवाचार केंद्र और शंघाई कपास के साथ मिलकर आधिकारिक रूप से मिलियन-स्तरीय वास्तविक मशीन डेटा सेट AgiBot World को ओपन-सोर्स किया, जिसका उद्देश्य सामान्य मशीनन मॉडल प्रशिक्षण का समर्थन करना है। ज्ञात हो कि यह दुनिया का पहला मिलियन-स्तरीय वास्तविक मशीन डेटा सेट है, जो व्यापक वास्तविक परिदृश्य, बहुपरकारी हार्डवेयर प्लेटफार्म, और पूरे गुणवत्ता नियंत्रण के आधार पर है। AgiBot World डेटा सेट ज़िज़ुआन द्वारा निर्मित बड़े पैमाने पर डेटा संग्रह कारखाने और अनुप्रयोग प्रयोगशाला में उत्पन्न हुआ है, जिस का कुल क्षेत्रफल

झी युआन रोबोट ने शंघाई आर्टिफिशियल इंटेलिजेंस प्रयोगशाला जैसे संस्थानों के साथ मिलकर AgiBot World डेटा सेट लॉन्च किया, जो विश्व का पहला वास्तविक परिदृश्य आधारित मिलियन-लेवल रोबोट डेटा सेट है। गूगल के ओपन एक्स-एम्बोडिमेंट की तुलना में, इसके दीर्घकालिक डेटा पैमाने में 10 गुना वृद्धि हुई है, दृश्य आवरण में 100 गुना विस्तार हुआ है, और डेटा गुणवत्ता औद्योगिक मानकों तक पहुँच गई है। इस ओपन-सोर्स प्रोजेक्ट को एम्बोडेड इंटेलिजेंस के क्षेत्र में ImageNet क्षण के रूप में माना जाता है और यह रोबोट की प्रभावशाली क्षमताओं को दर्शाता है। लिविंग रूम में फूल लगाना, किचन में खाना बनाना, सुपरमार्केट में चेकआउट करना आदि।

हाल ही में, मध्य साम्राज्य चौराहे मंच श्रृंखला गतिविधियों की 12वीं डिजिटल वित्त और टेक्नोलॉजी वित्त सम्मेलन में, एंट ग्रुप के Deepfake पहचान समाधान को सम्मेलन के "फिनटेक तकनीकी नवाचार और अनुप्रयोग मामलों" में शामिल किया गया। एंट ग्रुप ने अपनी टियानजी प्रयोगशाला के तहत, उद्योग में पहली बार बड़े पैमाने पर, उच्च गुणवत्ता वाले, बहु-आयामी Deepfake डेटा सेट का निर्माण किया है, जिसमें एक मिलियन से अधिक मल्टीमीडिया सामग्री का समावेश है, जो वास्तविक दुनिया के वित्तीय जोखिम नियंत्रण वातावरण में Deepfake हमलों के नमूनों का पूर्ण अनुकरण करता है। यह मौजूदा वित्तीय क्षेत्र में Deepfake का परीक्षण करने के लिए एक उपकरण बन गया है।

हाल ही में हार्वर्ड यूनिवर्सिटी ने घोषणा की कि वह लगभग 10 लाख सार्वजनिक डोमेन पुस्तकों से मिलकर बने एक डेटा सेट को जारी करने की योजना बना रही है, जिसे कोई भी बड़े भाषा मॉडल और अन्य एआई उपकरणों को प्रशिक्षण देने के लिए उपयोग कर सकता है। यह परियोजना हार्वर्ड विश्वविद्यालय की नई स्थापित संस्थागत डेटा पहल (Institutional Data Initiative) द्वारा संचालित की जा रही है और माइक्रोसॉफ्ट और OpenAI के वित्त पोषण के तहत पूरी की जा रही है। इस डेटा सेट में गूगल बुक्स परियोजना से स्कैन की गई पुस्तकें शामिल हैं, जिनमें शेक्सपियर, डिकेंस, दांते जैसी क्लासिक कृतियाँ शामिल हैं।

द न्यू यॉर्क टाइम्स और डेली न्यूज़ ने कॉपीराइट मुकदमे में अप्रत्याशित मोड़ का सामना किया: OpenAI के एक इंजीनियर ने अनजाने में संभावित प्रमुख सबूत वर्चुअल मशीन खोज डेटा हटा दिया, जिससे इस महत्वपूर्ण कानूनी विवाद में और नाटकीयता आ गई। बुधवार रात न्यूयॉर्क दक्षिणी जिला अमेरिकी न्यायालय में जमा पत्र के अनुसार, दोनों मीडिया कंपनियों के वकील और तकनीकी विशेषज्ञों ने पहले OpenAI के AI प्रशिक्षण डेटा सेट की खोज में 150 घंटे से अधिक का समय व्यतीत किया था। हालाँकि, 14 नवंबर को, एक OpenAI इंजीनियर ने वर्चुअल मशीन पर संग्रहीत डेटा अनजाने में हटा दिया।

हाल ही में, कई चीनी शोध संस्थानों की एक शोध टीम ने Infinity-MM नामक अत्यधिक बड़े पैमाने पर मल्टी-मोडल डेटा सेट को लॉन्च किया है, और इस डेटा सेट के आधार पर एक उत्कृष्ट प्रदर्शन वाला AI मॉडल Aquila-VL-2B प्रशिक्षित किया है। यह突破 मल्टी-मोडल AI के विकास में नई ऊर्जा का संचार करता है। Infinity-MM डेटा सेट में चार प्रमुख डेटा प्रकार शामिल हैं: 1 करोड़ छवि विवरण, 2 करोड़ 44 लाख सामान्य दृश्य निर्देश डेटा, 60 लाख चयनित उच्च गुणवत्ता वाले निर्देश डेटा, और 30 लाख द्वारा G

इज़राइल प्रौद्योगिकी संस्थान द्वारा संचालित एक हालिया अध्ययन से पता चलता है कि बड़े भाषा मॉडल (LLM) संभवतः 'गहरे छिपे' हुए हैं, उनके पास जो ज्ञान है वह वास्तविक प्रदर्शन से अधिक है। शोधकर्ता发现了 कि LLM का आंतरिक प्रतिनिधित्व उनके आउटपुट की सहीता के बारे में जानकारी को संहिताबद्ध करता है, अर्थात् वे अंततः गलत उत्तर उत्पन्न करने के बावजूद सही उत्तर को आंतरिक रूप से पहचान सकते हैं।研究团队 ने LLM द्वारा लंबे पाठ उत्पन्न करने में गलती का गहन विश्लेषण किया, जो वास्तविक जीवन में इसके उपयोग परिदृश्यों के और करीब है। उन्होंने एक गलती पहचान डेटा सेट का निर्माण किया, मॉडल की तुलना करके生成的文本。

2024 बीजिंग सांस्कृतिक फोरम में, बीजिंग झी युआन आर्टिफिशियल इंटेलिजेंस रिसर्च इंस्टीट्यूट (BAAI) ने नई पीढ़ी के चाइनीज़ इंटरनेट कॉर्पस CCI3.0 (Chinese Corpora Internet) की औपचारिक घोषणा की, जिससे डेटा के सह-निर्माण और साझाकरण को आगे बढ़ाने में मदद मिलेगी। CCI3.0 में 1000GB का डेटा सेट और 498GB का उच्च गुणवत्ता वाला उप-सेट CCI3.0-HQ शामिल है, जो 2023 के नवंबर में पहली बार ओपन-सोर्स CCI1.0 और 2024 के अप्रैल में जारी CCI2.0 के बाद एक महत्वपूर्ण अपडेट है।

हाल ही में, OpenAI ने एक महत्वपूर्ण बहुभाषी डेटा सेट लॉन्च किया, जिसका उद्देश्य 14 भाषाओं में आर्टिफिशियल इंटेलिजेंस के प्रदर्शन का मूल्यांकन करना है, जिसमें अरबी, जर्मन, स्वाहिली, बांग्ला और योरोबा शामिल हैं। इस डेटा सेट का नाम "बहुभाषी बड़े पैमाने पर बहु कार्यात्मक भाषा समझ" (MMMLU) रखा गया है, जिसे ओपन डेटा प्लेटफॉर्म Hugging Face पर प्रकाशित किया गया है, जो OpenAI की वैश्विक AI क्षेत्र में एक और महत्वपूर्ण प्रगति को दर्शाता है। डेटा सेट का प्रवेश द्वार: https://huggingface

इंटेलिजेंस सॉर्स अनुसंधान संस्थान ने एक करोड़ों स्तर का निर्देश माइक्रो-फाइन-ट्यूनिंग डेटा सेट, इनफिनिटी-इंस्ट्रक्ट, लॉन्च किया है, जिसका उद्देश्य संवाद आदि के संदर्भ में भाषा मॉडल के प्रदर्शन को बढ़ाना है। हाल ही में, इनफिनिटी इंस्ट्रक्ट ने नई दौर की पुनरावृत्ति पूरी की है, जिसमें इनफिनिटी-इंस्ट्रक्ट-7M बुनियादी निर्देश डेटा सेट और इनफिनिटी-इंस्ट्रक्ट-जन संवाद निर्देश डेटा सेट शामिल हैं।

वैश्विक शहरीकरण की प्रक्रिया के तेजी से बढ़ने के बीच, गूगल ने अपनी तकनीकी नवाचार क्षमता को फिर से प्रदर्शित करते हुए ओपन बिल्डिंग 2.5D टाइम डेटा सेट लॉन्च किया है। यह कदम न केवल मानचित्र तकनीक में एक महत्वपूर्ण突破 को दर्शाता है, बल्कि वैश्विक शहरी योजना और विकास के लिए मूल्यवान डेटा समर्थन भी प्रदान करता है। संयुक्त राष्ट्र का अनुमान है कि 2050 तक, वैश्विक शहरी जनसंख्या में लगभग 2.5 बिलियन का इजाफा होगा, जिसमें से अधिकांश वृद्धि वैश्विक दक्षिणी क्षेत्रों से आएगी। इस विशाल चुनौती का सामना करते हुए, शहरी योजनाकारों और निर्णय निर्माताओं को तेज़ी से बदलते शहरों को समझने और प्रतिक्रिया देने के लिए नए उपकरणों की अत्यधिक आवश्यकता है। गूगल द्वारा इस बार लॉन्च किया गया डेटा...

गेटी इमेजेज ने एक महत्वपूर्ण पहल की है, जो AI डेवलपर्स को 3750 उच्च गुणवत्ता वाली तस्वीरों के प्रशिक्षण डेटा सेट की सुविधा प्रदान करता है, जो 15 श्रेणियों को कवर करता है, जिसका उद्देश्य AI एप्लिकेशन परिदृश्यों के विकास का समर्थन करना है। ये तस्वीरें हगिंग फेस प्लेटफॉर्म पर उपलब्ध हैं, जहां उपयोगकर्ता सेवा की शर्तों से सहमत होकर और संपर्क जानकारी प्रदान करके मुफ्त में पहुंच सकते हैं। यह कदम व्यवसायों और डेवलपर्स को आकर्षित करने के साथ-साथ इसकी भुगतान लाइसेंसिंग सेवाओं को बढ़ावा देने के लिए किया गया है। गेटी इमेजेज का दावा है कि उसके पास 572 मिलियन से अधिक तस्वीरें हैं, जिनमें से 200 मिलियन से अधिक वाणिज्यिक उपयोग के लिए उपलब्ध हैं।

LAION ने Re-LAION-5B जारी किया, जो दुनिया का पहला AI प्रशिक्षण डेटा सेट है जिसने CSAM लिंक को पूरी तरह से हटा दिया है, और जिसका उद्देश्य बच्चों के यौन उत्पीड़न सामग्री (CSAM) की समस्या को हल करना है। यह डेटा सेट LAION-5B के आधार पर महत्वपूर्ण सुधारों के साथ आया है, जिसे मुख्य रूप से Re-LAION-5B Research और Research-Safe के दो संस्करणों में विभाजित किया गया है, जिसमें 2236 CSAM लिंक हटाए गए हैं, जिनमें से 1008 बच्चों की सुरक्षा संगठनों की सूची से हैं। डेटा सेट में 55 अरब पाठ और छवियों के जोड़े शामिल हैं, जिसका उद्देश्य मदद करना है।

जर्मन शोध संस्थान LAION ने नया डेटा सेट Re-LAION-5B तैयार और जारी किया है, जिसमें उनका दावा है कि उन्होंने संदिग्ध बच्चों के यौन शोषण सामग्री (CSAM) लिंक हटा दिए हैं। यह डेटा सेट पुराने डेटा सेट LAION-5B का सुधारित संस्करण है, जिसमें इंटरनेट ऑब्जर्वेटरी फंडेशन, मानवाधिकार देखरेख, कैनेडियन चाइल्ड प्रोटेक्शन सेंटर और स्टैनफोर्ड इंटरनेट ऑब्जर्वेटरी की सिफारिशों को शामिल किया गया है। Re-LAION-5B के दो संस्करण हैं: Research और Research-Safe, जिसमें बाद वाले में अतिरिक्त रूप से NSFW सामग्री हटाई गई है। डेटा सेट का उद्देश्य समर्थन करना है

हाल ही में, राष्ट्रीय सुपरकंप्यूटिंग चेंगदू सेंटर, चीन भूकंप ब्यूरो के भूभौतिकी अनुसंधान संस्थान और तियुंगhua विश्वविद्यालय द्वारा संयुक्त रूप से विकसित दित्यि भूकंप तरंग बड़ा मॉडल सिचुआन चेंगदू में औपचारिक रूप से जारी किया गया है। यह मॉडल देश का पहला 100 मिलियन पैरामीटर वाला भूकंप तरंग बड़ा मॉडल है, जो चीन में भूकंप विज्ञान अनुसंधान और कृत्रिम बुद्धिमत्ता प्रौद्योगिकी के एकीकरण में महत्वपूर्ण प्रगति का प्रतीक है।

माइक्रोसॉफ्ट के शोधकर्ताओं ने नया AI फ्रेमवर्क Auto Evol-Instruct लॉन्च किया है, जो AI डेटा सेट जनरेशन प्रक्रिया के लिए स्वचालित रूप से अनुकूलन और समायोजन कर सकता है, बिना किसी मानव हस्तक्षेप के। पहले के विशेषज्ञ द्वारा बनाए गए नियमों के विकास तरीकों के विपरीत, यह फ्रेमवर्क सीधे बड़े भाषा मॉडल (LLMs) का उपयोग करके निर्देशों का विश्लेषण, डिजाइन और विकास नियमों का अनुकूलन करता है। Auto Evol-Instruct स्वचालित रूप से निर्देश पालन क्षमता, गणितीय तर्क और कोड जनरेशन जैसे कार्यों के प्रदर्शन को बढ़ा सकता है, जो LLMs के प्रदर्शन में महत्वपूर्ण सुधार लाता है। तुलना परीक्षणों के माध्यम से, यह...

हाल ही में, एक सर्वेक्षण से पता चला है कि कई तकनीकी दिग्गजों में ऐप्पल भी शामिल है, जिन्होंने YouTube वीडियो उपशीर्षक का उपयोग एआई मॉडल को प्रशिक्षित करने के लिए किया था। इन डेटा में 170,000 से अधिक वीडियो शामिल थे, जिनमें प्रमुख क्रिएटर्स जैसे MKBHD और Mr. Beast की सामग्री शामिल है। ऐप्पल ने इन डेटा का उपयोग अपने ओपन-सोर्स मॉडल OpenELM को प्रशिक्षित करने के लिए किया, जो इस वर्ष अप्रैल में जारी किया गया था।