グラフ表現におけるトランスフォーマーの性能を探る

Do Transformers Really Perform Bad for Graph Representation?

トランスフォーマーのグラフ学習性能を解明

2021-06-09 被引用 127 中級
GNNTransformer
  • トランスフォーマーは多くの分野で主流だが、グラフ予測では劣る。
  • 本論文ではGraphormerを提案し、優れた結果を示す。
  • 構造情報の効果的なエンコーディングが鍵であり、GNNの特別なケースもカバーする。
トランスフォーマーグラフ表現Graphormer

トランスフォーマーは自然言語処理や画像認識で成功を収めていますが、グラフレベルの予測では競争力に欠けています。本論文では、Graphormerという新しいアプローチを提案し、グラフ表現学習において優れた成果を達成します。特に、グラフの構造情報を効果的にエンコードする方法を紹介し、従来のGNNと比較してその表現力を示します。グラフデータを扱う研究者や実務者にとって興味深い内容です。

グラフデータを扱う研究者や機械学習に興味がある実務者に向いています。

Do Transformers Really Perform Bad for Graph Representation?
Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He ほか