1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...

不知道过两年会变成啥样…   

这种的是真的假的，有没有什么陷阱啊

本人大三，在找日常（暑期）实习，年后这一个月面了几家大厂，但都挂了，有的直接在初筛阶段就给我踢了。最好的就是字节进了二面（字节实习生一般三轮：技术面、主管面、HR 面），二面结束以后我过几个小时就点开邮件看看，心想这次一定要拿下，如果能进 HR 面的话基本就稳了。我面完当天晚上做梦都梦到拿到了 offer 给我乐醒了，打开手机一看原来是梦。第二天打开邮件收到了感谢信，心情直接跌到谷底。这几天一直在自我怀疑，就在想每天这起早贪黑的，睁眼闭眼就是算法代码，到头来还是一场空，真觉得挺没意思的。我的性格一直比较要强好胜，我太想要一个机会来证明自己，但是没有办法，无论是我的学历，学校，还是学术项目，竞赛...