MTP训练阶段怎么做的？推理阶段投机采样怎么做的？输入1个 token t1，主模型会预测1个token t2 ，MTP层会循环预测N次，N个draft token, dt1,dt2,...dtn，共1 + 1 + N 个token然后 t1,t2, dt1,dt2,...dtn 送入模型模型会并行根据 t1,t2 预测t3，对应dt1根据 t1,t2, dt1 预测t4，对应dt2根据 t1,t2, dt1,dt2 预测t5，对应dt3...当dt中某一个不被主模型接受，就丢弃后边所有的draft token例如dt1，dt2被接受，记作t3,t4，dt3不被接受那么相等于多吐出了2个tok...

🤤

嵌入式/硬件/测试都没人要🤯

海康首先给我的感觉是人真的好多，尤其食堂的人，我可能上学都没有见过这么多人，还有电梯，我每次坐是一头雾水。当然这些对于我来说都不是很重要。 可能很多人最关心的就是海康的工作强度和时间是不是真如网上说的那么严重，而通过这段时间的感受，我觉得海康可能是我节奏最慢的一次体验，完成了任务就可以开开心心的回家了，根本不需要无效加班，如果自己想学点产品类的知识还是可以在公司里多学一点的。 关于部门小组氛围，我一开始是有点惊讶的，主管和我说这里扁平化管理。我们组可以说是神仙小组了，不用无效加班，请教主管问题都会随时给你解答，大主管也会给你安排学习计划。小组成员也都非常年轻，总之是很棒的。 关于学到的东西，我...