モバイル向け専門家混合モデルのスケーリング

• 大規模言語モデルにおいてMoEは重要なアーキテクチャとなっています。
• 本論文では、モバイルデバイス向けの新しいMoEモデルMobileMoEを提案します。
• このモデルは、従来の密なLLMよりも少ない計算量で高い性能を発揮します。

Mixture of Experts（MoE）は大規模言語モデルで広く使われていますが、サブビリオン規模でのモバイルデバイス向けの利点は未探索です。本論文では、0.3-0.9Bのアクティブパラメータを持つMobileMoEを提案し、モバイル環境での最適なアーキテクチャを導出しました。特に、従来のモデルに比べて2-4倍少ない計算量で同等以上の性能を実現しています。モバイルデバイス向けの効率的な推論を目指す研究者や開発者にとって興味深い内容です。

モバイルAIや軽量モデルに興味がある研究者や開発者に向いています。