Die Visuelle Skizze ist ein Framework, das multimodalen großen Sprachmodellen (LLMs) ein visuelles Zeichenbrett und Zeichenwerkzeuge bereitstellt. Es ermöglicht es Modellen, während der Planung und des Inferenzprozesses mit selbst erstellten visuellen Artefakten zu interagieren. Im Gegensatz zu bisherigen Methoden, die Text als Inferenzschritte verwenden, ermöglicht die Visuelle Skizze es Modellen, mit Elementen zu zeichnen, die der menschlichen Zeichenweise näher kommen – Linien, Kästchen, Markierungen usw. – und so das Denken zu verbessern. Darüber hinaus kann es während des Zeichenprozesses Experten-Bildmodelle verwenden, z. B. ein Objekterkennungsmodell zum Zeichnen von Bounding Boxes oder ein Segmentierungsmodell zum Zeichnen von Masken, um die visuelle Wahrnehmung und Inferenzfähigkeit weiter zu verbessern.