Mixture of Experts 基礎技術メモ

2026.09.23 16:32
Iwashi.co

はじめに 最近のオープンウェイトLLMを見渡すと、DeepSeek-V4.1-Flash(552B)、Kimi K3(2.8T)、MiMo-V2.6(1T)など、トップクラスのモデルのほぼすべてがMixture of Experts(以下、MoE)を採用している。本記事ではMoEに関する基礎的な技術をメモしていく。 本記事の内容はStanfordの授業、論文、テクニカルレポートなど...

検索

人気記事

2026.05.05 11:04
2026.10.25 23:19
2026.10.25 23:05
2026.10.22 19:35
2026.10.23 23:40

コメント一覧

まだコメントはありません。

コメント