大規模言語モデルの継続的学習に関する包括的調査

• 静的に訓練された大規模言語モデルは、データ分布の変化に適応するのが難しい。
• 本論文では、継続的学習の文脈でのLLMの研究進展を包括的にまとめる。
• 特に、忘却を防ぎ知識を移転するための新しい方法論の必要性を指摘している。

大規模言語モデル（LLM）は、データの変化に適応する際に「忘却」の問題に直面します。本論文では、継続的学習の観点からLLMの研究進展を包括的に調査し、継続的な適応方法や評価基準について詳しく解説しています。特に、実用的な評価ベンチマークの開発や、知識移転を促進する方法論の重要性が強調されています。機械学習や自然言語処理に興味がある研究者や実務者にとって、非常に有益な内容です。

機械学習や自然言語処理に興味がある研究者や実務者に向いています。