注意機構に基づく新しいネットワークアーキテクチャ

Attention Is All You Need

注意機構だけで構成されたTransformerを提案

2025-08-23 被引用 6526 中級
Transformer
  • 従来のモデルは複雑なネットワークに依存している。
  • 本研究では、再帰や畳み込みを排除したTransformerを提案。
  • 翻訳タスクでの性能向上とトレーニング時間の短縮が実証されている。
Transformer機械翻訳注意機構

従来のシーケンストランスダクションモデルは、複雑な再帰型や畳み込み型のネットワークに依存しています。本論文では、注意機構のみに基づく新しいネットワークアーキテクチャ、Transformerを提案します。このモデルは、機械翻訳において優れた性能を示し、トレーニング時間も大幅に短縮されることが実験で確認されています。機械学習や自然言語処理に興味がある方に特におすすめです。

機械学習や自然言語処理に興味がある研究者や学生に向いています。

Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez ほか