xdm，我今天突然乐观了。 前两天一哥们私聊我，问要不要加入他的初创团队，做兼职。哥们对自己的项目非常的自信。大意是他做产品，负责调研市场，出方案，我干其中一部分活，做完项目之后挂平台卖，按成交量分成。画了一张非常大的饼：现在有完善的方案，我们只需要每天3-5小时，大概5天就做成一个项目，卖出一单后分成至少1w。 算日薪很高，对不对？ 在我看到他的方案之前一切都正常。方案是邮件发给我的，字数还挺多，分工和步骤都挺明确的——好了，这就是全部的优点了。 他熬夜写出来的这个方案的可行性几乎为0。他想要训练一个模型，但市面上根本没数据，他的星期项目团队也当然是没有实验室来获取数据；他想验证模型鲁棒性，...

这种的是真的假的，有没有什么陷阱啊

过了，云智真tm香啊。😜

1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...