O Visual Sketchpad é uma estrutura que fornece uma lousa visual e ferramentas de desenho para modelos de linguagem de grande porte multimodais (LLMs). Permite que os modelos operem com base em artefatos visuais que eles próprios desenham durante o planejamento e o raciocínio. Ao contrário dos métodos anteriores que utilizavam texto como etapas de raciocínio, o Visual Sketchpad permite que os modelos desenhem usando elementos mais próximos da forma como os humanos desenham, como linhas, caixas e marcadores, promovendo assim um melhor raciocínio. Além disso, ele pode utilizar modelos visuais especialistas durante o processo de desenho, como usar um modelo de detecção de objetos para desenhar caixas delimitadoras ou um modelo de segmentação para desenhar máscaras, para melhorar ainda mais a percepção e o raciocínio visual.