最適化アルゴリズムのシンボリック発見

Symbolic Discovery of Optimization Algorithms

新しい最適化アルゴリズムを発見する手法

2023-02-13 被引用 167 中級 arXiv
LLM画像認識ファインチューニング
  • 深層学習の最適化アルゴリズムは重要です。
  • プログラム探索を用いて新たなアルゴリズム「Lion」を発見しました。
  • Lionはメモリ効率が高く、複数のタスクで優れた性能を示します。
最適化アルゴリズム深層学習プログラム探索

深層学習における最適化アルゴリズムは、モデルの性能に大きな影響を与えます。本研究では、プログラム探索を通じて新しい最適化アルゴリズム「Lion」を発見しました。Lionはメモリ効率が高く、さまざまなタスクで従来のアルゴリズムを上回る性能を示しています。深層学習や最適化に興味のある研究者や実務者にとって、興味深い内容となっています。

深層学習や最適化アルゴリズムに興味がある研究者やエンジニアに向いています。

Symbolic Discovery of Optimization Algorithms
Xiangning Chen, Liang Chen, Da Huang, Esteban Real, Kaiyuan Wang, Yao Liu ほか