Octopus es una herramienta de programación visual basada en retroalimentación ambiental que analiza de manera eficiente los objetivos visuales y de texto de las tareas de un agente, crea secuencias de acciones complejas y genera código ejecutable. El diseño de Octopus permite que el agente maneje una amplia gama de tareas, desde quehaceres cotidianos en simuladores hasta interacciones complejas en videojuegos complejos. Octopus utiliza GPT-4 para controlar al agente explorador que genera datos de entrenamiento, es decir, planos de acción y código ejecutable correspondiente, entrenándose en nuestro entorno experimental OctoVerse. También recopilamos retroalimentación para permitir un esquema de entrenamiento mejorado de aprendizaje por refuerzo con retroalimentación ambiental (RLEF). A través de una serie de experimentos, hemos aclarado las funciones de Octopus y presentamos resultados convincentes; el RLEF propuesto demuestra la mejora en la toma de decisiones del agente. Al publicar nuestro código, simulador y conjunto de datos, esperamos inspirar más innovación y fomentar la colaboración en la comunidad de IA experiencial.