हाल ही में, OpenAI ने एक महत्वपूर्ण बहुभाषी डेटा सेट लॉन्च किया, जिसका उद्देश्य 14 भाषाओं में आर्टिफिशियल इंटेलिजेंस के प्रदर्शन का मूल्यांकन करना है, जिसमें अरबी, जर्मन, स्वाहिली, बांग्ला और योरोबा शामिल हैं। इस डेटा सेट का नाम "बहुभाषी बड़े पैमाने पर बहु कार्यात्मक भाषा समझ" (MMMLU) रखा गया है, जिसे ओपन डेटा प्लेटफॉर्म Hugging Face पर प्रकाशित किया गया है, जो OpenAI की वैश्विक AI क्षेत्र में एक और महत्वपूर्ण प्रगति को दर्शाता है। डेटा सेट का प्रवेश द्वार: https://huggingface

LAION ने Re-LAION-5B जारी किया, जो दुनिया का पहला AI प्रशिक्षण डेटा सेट है जिसने CSAM लिंक को पूरी तरह से हटा दिया है, और जिसका उद्देश्य बच्चों के यौन उत्पीड़न सामग्री (CSAM) की समस्या को हल करना है। यह डेटा सेट LAION-5B के आधार पर महत्वपूर्ण सुधारों के साथ आया है, जिसे मुख्य रूप से Re-LAION-5B Research और Research-Safe के दो संस्करणों में विभाजित किया गया है, जिसमें 2236 CSAM लिंक हटाए गए हैं, जिनमें से 1008 बच्चों की सुरक्षा संगठनों की सूची से हैं। डेटा सेट में 55 अरब पाठ और छवियों के जोड़े शामिल हैं, जिसका उद्देश्य मदद करना है।

शोधकर्ताओं ने MIT, Cohere for AI जैसी संस्थाओं के साथ मिलकर डेटा प्रॉविनेंस प्लेटफॉर्म जारी किया है, जो AI डेटा पारदर्शिता की समस्या को हल करता है। 2000 से अधिक व्यापक रूप से उपयोग किए जाने वाले फाइन-ट्यूनिंग डेटा सेट का ऑडिट और ट्रैकिंग करते हुए, डेटा पारदर्शिता मुद्दों के महत्व पर जोर दिया गया। डेटा सेट की उत्पत्ति में कमी डेटा लीक, व्यक्तिगत जानकारी की प्रदर्शनी, पूर्वाग्रह और कानूनी जोखिम पैदा कर सकती है। डेटा प्रॉविनेंस प्लेटफॉर्म AI डेटा पारदर्शिता को बढ़ाने, डेटा सेट की गुणवत्ता और नैतिक कानूनों के अनुपालन में सुधार की आशा करता है।