多物理モデルにおける負の転送の排除

• 科学的機械学習の普遍的モデル化には負の転送が課題となっている。
• Shodh-MoEという新しいアーキテクチャを提案し、専門的なパラメータ経路を実現する。
• このモデルは物理的な保存則を保証し、異なる物理メカニズムに特化したルーティングを可能にする。

科学的機械学習における普遍的な基盤モデルの構築には、異なる偏微分方程式の同時訓練による負の転送が障害となります。本論文では、Shodh-MoEという新しいスパースアクティベーション型のトランスフォーマーアーキテクチャを提案し、物理的な保存則を満たしながら異なる物理メカニズムに特化した経路を提供します。このアプローチは、専門家ネットワークを用いた効率的なルーティングを実現し、多物理干渉の軽減に寄与します。物理シミュレーションや機械学習に興味のある研究者に特に有用です。

物理シミュレーションや機械学習に関心のある研究者に向いています。新しいアーキテクチャに興味がある方にもおすすめです。