誤った理由での正解: 自然言語推論における構文的ヒューリスティクスの診断

• 機械学習システムは、特定のヒューリスティクスに依存して高得点を得ることがある。
• 本研究では、自然言語推論における3つの誤った構文ヒューリスティクスを検討する。
• 新たに提案されたHANSデータセットを用いて、モデルの限界を明らかにする。

自然言語推論（NLI）では、文が他の文を含意するかを判断しますが、機械学習モデルはしばしば誤ったヒューリスティクスに依存します。本研究では、これらのヒューリスティクスがどのようにモデルに影響を与えるかをHANSデータセットを通じて分析しました。特に、BERTなどの最先端モデルがこの問題に直面していることを示し、NLIシステムの改善の余地が大きいことを提案しています。NLIや機械学習に興味がある研究者にとって、重要な知見を提供します。

自然言語処理や機械学習に興味がある研究者や学生に向いています。