注意機構に基づく新しいネットワークアーキテクチャ
Attention Is All You Need
注意機構だけで構成されたTransformerを提案
この論文を3行でいうと
- 従来のモデルは複雑なネットワークに依存している。
- 本研究では、再帰や畳み込みを排除したTransformerを提案。
- 翻訳タスクでの性能向上とトレーニング時間の短縮が実証されている。
キーワード
Transformer機械翻訳注意機構
もう少しだけ中身を見る
従来のシーケンストランスダクションモデルは、複雑な再帰型や畳み込み型のネットワークに依存しています。本論文では、注意機構のみに基づく新しいネットワークアーキテクチャ、Transformerを提案します。このモデルは、機械翻訳において優れた性能を示し、トレーニング時間も大幅に短縮されることが実験で確認されています。機械学習や自然言語処理に興味がある方に特におすすめです。
こんな人に向いていそう
機械学習や自然言語処理に興味がある研究者や学生に向いています。
元論文はこちら
関連論文