ऑक्टोपस एक पर्यावरणीय प्रतिक्रिया पर आधारित दृश्य भाषा प्रोग्रामिंग उपकरण है जो एजेंट के दृश्य और पाठ कार्य लक्ष्यों को कुशलतापूर्वक विश्लेषण करने, जटिल क्रिया अनुक्रम तैयार करने और निष्पादन योग्य कोड उत्पन्न करने में सक्षम है। ऑक्टोपस का डिज़ाइन एजेंट को व्यापक कार्यों को संभालने की अनुमति देता है, सिम्युलेटर में दैनिक कामों से लेकर जटिल वीडियो गेम में जटिल इंटरैक्शन तक। ऑक्टोपस GPT-4 का उपयोग करके प्रशिक्षण डेटा, अर्थात् क्रिया ब्लूप्रिंट और संबंधित निष्पादन योग्य कोड उत्पन्न करने वाले अन्वेषण एजेंट को नियंत्रित करने के लिए करता है, जिसे हमारे प्रयोगात्मक परिवेश ऑक्टोवर्स में प्रशिक्षित किया जाता है। हम प्रतिक्रिया भी एकत्रित करते हैं ताकि प्रबलित अधिगम और पर्यावरणीय प्रतिक्रिया (RLEF) के उन्नत प्रशिक्षण योजना की अनुमति मिल सके। प्रयोगों की एक श्रृंखला के माध्यम से, हम ऑक्टोपस के कार्यों को स्पष्ट करते हैं और आश्वस्त परिणाम प्रस्तुत करते हैं, प्रस्तावित RLEF एजेंट निर्णय लेने में सुधार को दर्शाता है। हमारे मॉडल आर्किटेक्चर, सिम्युलेटर और डेटासेट को ओपन सोर्स करके, हम अधिक नवाचार को प्रोत्साहित करना और व्यापक अनुभव AI समुदाय में सहयोगी अनुप्रयोगों को बढ़ावा देना चाहते हैं।