Anthropic API ने हाल ही में प्रॉम्प्ट कैशिंग फीचर लॉन्च किया है, जिससे डेवलपर्स अब API कॉल के बीच में सामान्य संदर्भ जानकारी को कैश कर सकते हैं। प्रॉम्प्ट कैशिंग के माध्यम से, ग्राहक Claude मॉडल के लिए अधिक पृष्ठभूमि ज्ञान और उदाहरण आउटपुट प्रदान कर सकते हैं, साथ ही लंबे प्रॉम्प्ट की लागत को 90% तक कम कर सकते हैं और देरी को 85% तक घटा सकते हैं।
यह फीचर वर्तमान में Claude3.5Sonnet और Claude3Haiku के सार्वजनिक बीटा संस्करण में उपलब्ध है, और भविष्य में Claude3Opus का भी समर्थन करेगा।
प्रॉम्प्ट कैशिंग फीचर विशेष रूप से निम्नलिखित परिदृश्यों के लिए उपयुक्त है: जब कई अनुरोधों में बड़े पैमाने पर प्रॉम्प्ट संदर्भ को बार-बार संदर्भित करने की आवश्यकता होती है, जैसे संवाद एजेंट में लंबे संवाद की लागत और देरी को कम करना, विशेष रूप से जटिल निर्देशों या दस्तावेज़ अपलोड की स्थिति में; कोडिंग सहायक प्रॉम्प्ट में कोडबेस के संक्षिप्त संस्करण को बनाए रखकर ऑटो-कंप्लीशन और कोडबेस प्रश्नोत्तर में सुधार कर सकते हैं; बड़े दस्तावेजों को संसाधित करते समय, प्रॉम्प्ट कैशिंग पूरी लंबी सामग्री को बिना प्रतिक्रिया समय बढ़ाए एम्बेड कर सकता है; इसके अलावा, कई दौर की उपकरण कॉल और पुनरावृत्त परिवर्तनों से संबंधित एजेंट खोज और उपकरण उपयोग परिदृश्यों के लिए, प्रॉम्प्ट कैशिंग प्रदर्शन को भी काफी बढ़ा सकता है।
प्रॉम्प्ट कैशिंग की कीमत कैश किए गए इनपुट टोकन की संख्या और उपयोग की आवृत्ति पर निर्भर करती है। कैश में लिखने की लागत मूल इनपुट टोकन की कीमत से 25% अधिक है, जबकि कैश सामग्री का उपयोग करने की लागत मूल इनपुट टोकन की कीमत का केवल 10% है।
जानकारी के अनुसार, Notion ने Anthropic API के ग्राहक के रूप में प्रॉम्प्ट कैशिंग फीचर को अपने आर्टिफिशियल इंटेलिजेंस सहायक Notion AI में एकीकृत किया है। लागत को कम करने और गति बढ़ाने के माध्यम से, Notion ने आंतरिक संचालन का अनुकूलन किया है और उपयोगकर्ताओं को अधिक उन्नत और तेज अनुभव प्रदान किया है।
