トランスフォーマーの幾何学観測所TGO-I: スペクトル幾何学の探求

• ViTは多くの画像認識タスクで成功を収めているが、幾何学的理解は不足している。
• 本研究では、ViTの表現のスペクトル幾何学を分析するフレームワークTGOを提案する。
• トレーニングを通じて、表現次元の変動が再分配される興味深い現象を発見した。

Vision Transformers（ViT）は多くのコンピュータビジョンアプリケーションで広く使われているが、その幾何学的特性はあまり探求されていません。本論文では、ViTの表現のスペクトル幾何学を分析するための実験フレームワーク「TGO」を導入します。特に、トレーニング中の表現次元の変化に注目し、興味深い再分配の現象を明らかにしました。この研究は、トランスフォーマーの理解を深めたい研究者や技術者にとって有益です。

トランスフォーマーや機械学習に興味がある研究者やエンジニアに向いています。