低次元部分空間における学習: 強化学習のための直交ボトルネック

• 深層強化学習は高次元の表現に依存しがちです。
• 本研究では、直交投影を用いてエンコーダの特徴を低次元に制約する手法を提案します。
• この手法は、タスクに応じて非常に低次元に圧縮できる可能性を示しています。

深層強化学習エージェントは通常、高次元の神経表現に依存していますが、タスクに関連する価値や方針は本質的に低次元である可能性があります。本研究では、エンコーダの特徴を低次元部分空間に制約するための直交投影を用いた手法を提案し、実験により性能が向上することを示しました。このアプローチは、強化学習の表現を軽量化し、アーキテクチャに依存しない新たなメカニズムとして位置付けられます。特に、強化学習の表現に興味がある研究者や実務者にとって有益です。

強化学習や表現学習に興味がある研究者や実務者に向いています。