秋招小总结

笔试时间：2025年9月3日往年笔试合集：2023春招秋招笔试合集2024春招秋招笔试合集第一题在 MOE 模型训练时，token 会依据概率发送到 topk 个不同专家计算，这些专家分布在多个 NPU 卡上。Device - Limited routing 算法可将 token 路由目标限制在 p个 NPU 以降低通信成本，具体步骤如下：把 n个专家平均分配在 m个 NPU 上，每个 NPU 上的专家为一个组；设 n个专家的编号为 N = [0,1,2,…,n−1]，同一个专家组上的专家编号是连续的；每个专家对应一个概率，表示被路由到的可能性；用每个组中的最大概率作为本组代表，从所有组中选择...