आधुनिक समय में, जब कृत्रिम बुद्धिमत्ता तेजी से विकसित हो रही है, AI '幻觉' की घटनाएं और भी बढ़ गई हैं, जो कई व्यवसायों के लिए समस्याएँ पैदा कर रही हैं। ग्राहक सेवा चैट बॉट्स आत्मविश्वास से ऐसी उत्पादों का वर्णन करते हैं जो अस्तित्व में नहीं हैं, वित्तीय AI बाजार डेटा का निर्माण करता है, और चिकित्सा रोबोट खतरनाक चिकित्सा सलाह प्रदान करते हैं। ये समस्याएँ अब केवल मजेदार घटनाएँ नहीं हैं, बल्कि ये कंपनियों की प्रतिष्ठा और लाभ पर गंभीर प्रभाव डाल रही हैं। इस चुनौती का सामना करने के लिए, सैन फ्रांसिस्को स्थित स्टार्टअप Patronus AI ने एक स्व-सेवा प्लेटफ़ॉर्म लॉन्च करने की घोषणा की है, जिसका उद्देश्य वास्तविक समय में पहचानना और रोकना है।

Patronus AI ने एक कॉपीराइट जांच उपकरण जारी किया, जिसमें OpenAI के GPT-4 को उल्लंघन की सबसे गंभीर समस्या के रूप में इंगित किया गया। माइक्रोसॉफ्ट के इंजीनियरों ने चेतावनी दी कि एआई चित्र निर्माण उपकरण समाज के लिए खतरा उत्पन्न कर सकता है।

Patronus AI ने SimpleSafetyTests परीक्षण套件 जारी किया, जो ChatGPT जैसे AI सिस्टम में महत्वपूर्ण सुरक्षा खामियों को उजागर करता है। परीक्षण आत्महत्या, बाल शोषण और शारीरिक क्षति जैसे पांच उच्च प्राथमिकता वाले खतरे के क्षेत्रों को शामिल करते हैं, जिससे 11 LLMs में गंभीर कमजोरियों का खुलासा होता है। सुरक्षित सिस्टम सुझावों पर जोर दिया गया है जो असुरक्षित प्रतिक्रियाओं को कम कर सकते हैं, लेकिन परिणाम यह दर्शाते हैं कि उत्पादन प्रणाली को संभावित अतिरिक्त सुरक्षा उपायों की आवश्यकता हो सकती है। परीक्षण के परिणाम बताते हैं कि वास्तविक विश्व अनुप्रयोगों को संभालने से पहले, LLMs को सख्त और कस्टम सुरक्षा समाधानों की आवश्यकता होती है।

Patronus AI एक अमेरिकी स्टार्टअप है जो AI मॉडल सुरक्षा और शासन पर केंद्रित है। कंपनी ने हाल ही में लाइटस्पीड चाइना द्वारा नेतृत्व में 3 मिलियन डॉलर की सीरीज ए फंडिंग पूरी की। Patronus AI मुख्य रूप से कॉर्पोरेट ग्राहकों को AI मॉडल सुरक्षा मूल्यांकन, निगरानी और वृद्धि प्लेटफ़ॉर्म प्रदान करता है। यह कंपनी एंटरप्राइज ग्राहकों को AI मॉडल की सुरक्षा का मूल्यांकन करने के लिए प्रतिकूल उत्पन्न नेटवर्क का उपयोग करती है। Patronus AI का कहना है कि वह इस वित्तपोषण का उपयोग उत्पाद विकास को तेज़ी से करने और शोध एवं विकास टीम का विस्तार करने के लिए करेगी।