浮動小数点ニューラルネットワークの表現力の研究

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations

浮動小数点ネットワークの表現力を探る

2026-05-27 上級 arXiv
LLMCNN
  • 従来の理論は正確な実数演算を前提としている。
  • 本研究では、任意の削減順序と不正確な活性化を考慮する。
  • 特に、実用的な活性化関数の普遍的表現力を示す新しい枠組みを提案。
浮動小数点ニューラルネットワーク表現力

多くの既存のニューラルネットワークの理論は、正確な実数演算を前提としていますが、実際のネットワークは有限精度の浮動小数点演算で動作します。本研究では、任意の削減順序と不正確な活性化を含む浮動小数点ニューラルネットワークの表現力を探求します。特に、実用的な活性化関数が普遍的な表現力を持つ条件を明らかにし、従来の理論を拡張する新しい枠組みを提供します。理論的な興味がある研究者や実用的な応用を考えるエンジニアにとって、非常に価値のある内容です。

理論的な研究に興味がある研究者や、実用的な応用を模索するエンジニアに向いています。

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations
Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park