本論文では、大規模言語モデル（LLM）が徐々に複雑化する視覚概念の生成と認識能力を体系的に評価し、テキストモデルを用いて初期の視覚表現学習システムを訓練する方法を示します。言語モデルはピクセルレベルの視覚情報を直接処理できませんが、コードで画像を表すことで研究を行います。LLMによって生成された画像は自然画像のようではありませんが、画像生成と修正の結果は、文字列の正確なモデリングが言語モデルに視覚世界の多くの側面を教えることができることを示しています。さらに、テキストモデルで生成された画像を用いた自己教師あり視覚表現学習の実験は、LLMのみを用いて、自然画像のセマンティック評価を行うことができる視覚モデルを訓練できる可能性を浮き彫りにしています。