Octopus ist ein visuelles Programmierwerkzeug, das auf Umgebungsrückmeldungen basiert. Es kann die visuellen und textuellen Aufgabenziele von Agenten effizient analysieren, komplexe Handlungsabfolgen planen und ausführbaren Code generieren. Octopus ist so konzipiert, dass Agenten eine breite Palette von Aufgaben bewältigen können, von alltäglichen Aufgaben in Simulatoren bis hin zu komplexen Interaktionen in komplexen Videospielen. Octopus nutzt GPT-4, um die Erkundung von Agenten zur Generierung von Trainingsdaten, nämlich Aktionsentwürfe und den entsprechenden ausführbaren Code, im OctoVerse-Experimentumfeld zu steuern. Wir sammeln auch Feedback, um ein verbessertes Trainingsschema für Verstärkendes Lernen mit Umgebungsrückmeldungen (RLEF) zu ermöglichen. Durch eine Reihe von Experimenten belegen wir die Funktionalität von Octopus und präsentieren überzeugende Ergebnisse. Das vorgeschlagene RLEF hat sich als effektiv zur Verbesserung der Entscheidungsfindung von Agenten erwiesen. Durch die Open-Source-Veröffentlichung unserer Modellarchitektur, des Simulators und des Datensatzes möchten wir weitere Innovationen anregen und die Zusammenarbeit in der breiteren Community für Experience AI fördern.