ノイズ除去ビジョン変換器（Denoising Vision Transformers、DVT）は、ビジョン変換器（ViTs）を対象とした新しいノイズモデルです。ViTの出力の解剖と学習可能なノイズ除去器の導入により、DVTはノイズのない特徴を抽出でき、オフラインアプリケーションとオンライン機能において、Transformerベースのモデルのパフォーマンスを大幅に向上させます。DVTは既存の事前学習済みViTsの再トレーニングを必要とせず、あらゆるTransformerベースのアーキテクチャにすぐに適用できます。複数のデータセットで広範な評価を行った結果、DVTはセマンティックタスクと幾何学的タスクにおいて、既存の最先端の汎用モデルを継続的に大幅に改善することがわかりました（例：+3.84 mIoU）。本研究が、特に位置埋め込みの単純な使用に関するViT設計の見直しを促すことを願っています。