真正的容量,是不被同时唤醒的那部分

AI 寓言集：用故事讲透五个核心概念

  1. 01. 图书馆里的低语（Self-Attention）
  2. 02. 雪夜下山的瞎子（Gradient Descent）
  3. 03. 完美的临摹学徒（Overfitting 与正则化）
  4. 04. 把世界搬上书架的图书管理员（Embedding）
  5. 05. 学了三年突然顿悟的少年（Grokking 与涌现）
  6. 06. 在雾中看潮水的渔夫（Bayes 推断）
  7. 07. 十口井的旅人（Multi-armed Bandit）
  8. 08. 同一双眼睛走遍全村（Convolution / CNN）
  9. 09. 学新手艺就忘旧的画师（Catastrophic Forgetting）
  10. 10. 画赝品的人和他的宿敌（GAN）
  11. 11. 一张照片骗过所有人的眼睛（Adversarial Examples）
  12. 12. 翻山送信的邮差（Residual Connection）
  13. 13. 把老匠人装进一个孩子的梦里（知识蒸馏）
  14. 14. 山神的三个承诺（Reward Hacking / Goodhart）
  15. 15. 守门人和十个专家（Mixture of Experts） 👈 当前
  16. 16. 天生注定的那张彩票（Lottery Ticket Hypothesis）
  17. 17. 能把尘土还原成瓷瓶的人（Diffusion）
  18. 18. 够大的雨终会灌满湖（Scaling Laws / Emergence）
  19. 19. 会大声自言自语的棋手（Chain of Thought）
  20. 20. 一支笔里藏着五种颜色（Superposition / 机械可解释性）

那个村子,养着十个专家。

第一位是草药师,治病解毒。第二位是接生婆,管所有出生。第三位是铁匠,管所有的农具和兵刃。第四位是会写字的先生,管所有文书。第五位是做酒的师傅,管所有酿造。还有看天的、看地的、看牲口的、看人心的、看远路的——总共十位。

每位专家都很贵——养一个专家一年的工钱,顶得上五个壮丁。但村里离不开他们,因为村里有几千户人家,每家的事情五花八门,需要的本事也千差万别。

最初,村民有事就自己跑去找他认为对的那位专家。但这事没那么容易——一个肚子痛的村民,可能是吃坏了(找草药师),可能是怀孕了(找接生婆),也可能是被铁屑卡到了(找铁匠的徒弟看)。村民自己常常找错人。找错了再换,专家的时间就被白白浪费。

后来村正想了一个办法——他在村口请了一位守门人。

守门人不是任何一种专家。他不会治病,不会接生,不会打铁,不会写字,不会酿酒。他什么具体的事情都不会。但他特别擅长一件事——

听一听、看一看,就能告诉你应该去找哪一位专家。

来了一个肚子痛的人,守门人问几句话,然后说"找草药师"。来了一个挑了重担腰扭了的,他说"找铁匠的徒弟,他那有按摩的手艺"。来了一个写状子的,他说"找会写字的先生"。来了一个特别复杂的事——一个生病的孕妇——他说"先草药师,再接生婆"。

守门人本身没什么本事。但他对每一种问题该去找谁,有非常细的判断。

这一改之后,村子的运转完全变了样。

每天,十位专家绝大多数都在睡觉或者干自己的活。村里来了一百件事,守门人把这一百件事分给最对口的那一两位专家,其他八九位专家根本不需要被打扰。每个专家只在他擅长的领域被启用——他不会被外行问题分散精力,也不会因为业务太杂而退化。

更妙的是另一件事——村正可以再多养几位专家了。

如果没有守门人,十个专家已经是村子能负担的极限——再添专家,管理成本就爆炸。但有了守门人只挑相关的两位,村正发现——他可以养二十个、三十个、甚至一百个专家——只要守门人的眼力够,每一个具体的问题仍然只动用其中一两位。养专家的总开销虽然大,但每天实际工作的开销和原来差不多。

第三年,这个村子养了一百个专家——分得极细,每一种小问题都有对应的人。但每天醒着干活的,永远只是其中两三个。村子的整体智慧大大增长,而日常运行的成本几乎没变。

外乡来一位学者,听说这个村子的怪事,专门来观察。他看了三天,问村正:

你村里这一百个专家,为什么他们之间不互相比试、不打架、不偷懒?

村正笑了:"因为没人需要谁。每个人都只在自己最擅长的事上被启用,他不需要去和别人竞争。他只需要在被叫醒的那一刻,把那件事做到最好。"

学者再问:"那你说,这套系统真正的奥秘在哪里?"

村正想了想说:

不在专家身上。专家只是专家。奥秘在守门人身上——他不会任何一门具体本事,但他知道每一种问题应该交给谁。他是一个'懂得不去做事'的人。

我这村子的智慧,不是十个专家的总和。是守门人让那些专家在对的时候被叫醒,在错的时候安静睡觉。

寓言之外

这就是 Mixture of Experts(MoE,混合专家)——现代超大规模模型(GPT-4、Mixtral、DeepSeek-V3、Qwen-MoE)几乎全部都在用的核心架构。

把一个传统神经网络的某一层(比如 Transformer 里的 feed-forward 层)想象成一位"全能型选手"。每个输入都要经过它的全部参数——它学会处理所有种类的输入。这就是**dense(稠密)**模型的工作方式。

MoE 把这一层拆成多个独立的"专家"——比如 8 个、16 个、64 个、上百个。每个专家是一个小的神经网络,它们结构相同,但参数独立——它们各自会演化出处理不同类型输入的偏好。

但和寓言里的村子一样,每次来一个输入,只有 1-2 个专家被启用——剩下的全部"睡觉"(完全不参与计算)。决定"哪几个专家被启用"的,是一个叫做 Gating Network(门控网络) 或 Router(路由器) 的小模块——它就是寓言里的守门人。

公式上写出来:

output = Σᵢ G(x)ᵢ × Eᵢ(x)

其中 G(x) 是 router,对每个 expert 输出一个权重(大部分是 0,只有少数几个非零);Eᵢ 是第 i 个 expert。

这个设计有三个非常深刻的好处:

第一,容量可以无限增大,但激活成本不变——你可以养 256 个专家,但每个 token 只 route 到 2 个。模型的总参数量(容量)是 256 倍,但每个 token 实际计算量只是 2 倍(路由器的开销几乎可以忽略)。这是现代万亿参数模型的根本秘密——它的"参数量"和"激活量"是两个不同的数字。

  • GPT-4 据传是一个 ~1.8T 参数的 MoE,每次推理只激活 ~280B
  • Mixtral 8x7B 总参数 47B,激活 13B
  • DeepSeek-V3 总参数 671B,激活 37B

第二,专家自然形成专业化——训练过程中,router 学会把"代码相关的 token" 路由到某些专家,把"中文相关的 token" 路由到另一些,把"数学" 路由到第三组。没人告诉它该怎么分,它自己分出来。研究者打开训练好的 MoE 模型,真的能看到这种语义聚类——某些 expert 在处理特定主题时被激活的频率明显高于其他。

第三,稀疏激活带来训练效率——同样的训练算力,MoE 模型能学到比 dense 模型更多的内容。因为不同的样本走不同的专家,整个网络的"学习带宽"被放大了。

但 MoE 不是没有代价。它的工程难点同样深刻:

Load Balancing(负载均衡)——如果 router 偷懒,总把所有 token 路由到同一个最受欢迎的 expert,其他专家就会"饿死"——它们不被训练,不会专业化,白白浪费参数。所以训练时必须加一个负载均衡损失,逼 router 把流量分布得相对均匀。这是 MoE 工程里最棘手的问题之一。

Communication Cost(通信开销)——大模型训练时,不同的 expert 通常分布在不同的 GPU 上。一个 token 路由到哪个 expert,就要把它的数据通过网络发到那个 GPU——这种 all-to-all 通信开销巨大。Google 的 GShard、Switch Transformer 等工作大部分精力都在解决这个问题。

Routing 决策的稳定性——router 是端到端训练的,但它的决策是离散的(选 top-k 个 expert)。这种离散选择对梯度不友好——研究者用各种 tricks(top-k softmax、Gumbel-softmax、noisy gating)解决这个矛盾。

为什么这件事在 LLM 时代爆发?

Dense 模型有一个天花板——参数越多,训练和推理的成本就同比例增长。要训练一个十万亿参数的 dense 模型,算力和电力都不可承受。MoE 让"模型容量"和"激活成本"解耦——你能买得起的模型,可以比'同等推理成本'的 dense 模型大十倍。这是过去几年大模型能力爆发式增长背后最重要的工程支柱之一。

OpenAI、Google、Anthropic、xAI、DeepSeek、Mistral、Qwen——几乎所有主流大模型团队,在 2024-2026 年的前沿模型上都用了 MoE。这不是一个小众技巧,这已经是必经之路。

更深一层——MoE 的成功揭示了一种关于"智能"的不同假设:真正强大的模型,不是"每一部分都参与每一件事"——而是"在合适的时候,只激活合适的那一部分"。人脑也是这样工作的——你说话时听觉皮层和运动皮层是激活的,视觉皮层基本休息;你看一张图时正好相反。大脑的总能量预算很低,但容量极大——奥秘就在稀疏激活上。

寓言里村正说的那句话,可能是对 MoE 最简洁的总结:

我这村子的智慧,不是十个专家的总和。是守门人让那些专家在对的时候被叫醒,在错的时候安静睡觉。

在 AI 史的位置

MoE 的概念可以追溯到 1991 年 Robert Jacobs 等人(包括 Geoffrey Hinton)的论文 Adaptive Mixtures of Local Experts。但在那个年代,神经网络本身都还没有大放异彩,MoE 更像是统计学的一个角落。

真正的现代复兴是 2017 年 —— Noam Shazeer 等人发表 Outrageously Large Neural Networks,在 LSTM 上演示了一个 137 billion 参数的 MoE 模型,当时是世界上最大的神经网络。这篇论文奠定了 modern MoE 的核心思想——sparse top-k gating + load balancing loss。

2021 年 Google 的 Switch Transformer 把 MoE 简化到极致——top-1 gating,验证了"超大稀疏模型 < 同等推理成本的 dense 模型"的范式优势。

2023-2024 年 MoE 进入主流。Mistral AI 的 Mixtral 8x7B(2023 年 12 月)是第一个开源的高质量 MoE 模型,激发了整个开源社区。DeepSeek-V2 / V3(2024)在国产开源 MoE 上达到顶尖水平。Qwen 也跟上了 MoE 路线。

到了 2025-2026 年,几乎所有前沿大模型——开源和闭源——默认就是 MoE 架构。守门人和他那一百个专家,已经成了今天大模型的标配城防。

版权声明: 如无特别声明，本文版权归 sshipanoo 所有，转载请注明本文链接。

（采用 CC BY-NC-SA 4.0 许可协议进行授权）

本文标题:15. 守门人和十个专家

本文链接:https://www.sshipanoo.com/blog/ai/ai-fables/15-守门人和十个专家/

本文最后一次更新为 天前，文章中的某些内容可能已过时！

目录