面试题简述

MMoE 和 PLE 分别是为了解决什么问题的？最大的区别在哪里？

面试官想听的

1、MMoE = 多专家 + gating

2、PLE = 专家分层 + 共享/专属塔

3、能解释为什么 PLE 更适合缓解任务冲突

4、能说清楚结构差异

面试回答举例

MMoE, Multi-gate Mixture-of-Experts, 是一个经典的多任务学习结构，用于解决多个任务之间存在差异但又共享部分知识的问题。它的核心结构是多个专家网络，每个任务都有自己的 gating 网络，用门控分配各 expert 输出权重。

简单来说，它是把多个任务排到不同的专家面前，由 gating 决定每个任务从哪些专家那里学习更多信息。

详情请参考：http://xhslink.com/o/AyFSf4d4Kuz

由浅入深分析

1、MMoE：所有任务共享专家 -> gating 区分使用比例

2、PLE：共享专家 + 专属专家 -> 逐层消解梯度冲突

3、多任务场景核心挑战是共享 vs 独立的平衡

4、工业界排序模型：DCN + MMoE/PLE 组合很常见

面试加分点

1、提到 PLE 的核心价值是解决梯度冲突。

2、清晰区分共享专家和专属专家。

3、说明任务之间差异越大，MMoE 越容易性能不稳定，而 PLE 适配更好。