高德大模型算法一面面经 1h

1. 介绍一下你的实习、项目和论文，重点讲一个你真正做深了的点2. 介绍一个你最熟悉的大模型架构，并说清楚它在注意力结构、训练策略和推理优化上的特点可以拿 Transformer 系列来答。核心由 Embedding、Multi-Head Attention、FFN、残差连接和 LayerNorm 组成。注意力结构负责建模 token 间依赖，训练上一般采用大规模自监督预训练，比如 next token prediction，然后再做 SFT、偏好对齐。推理优化上会做 KV Cache、FlashAttention、Continuous Batching、量化和张量并行。如果你想答得更像大模型...

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的

1. 自我介绍，介绍一下你觉得最有挑战性的项目2. 你提到用过多任务架构，任务数量多了之后内存压力怎么处理的？静态分配和动态分配你怎么选择？答：任务多了之后内存压力主要来自两块：每个任务的栈空间，以及任务间通信用的队列和信号量。栈空间的处理：先用 uxTaskGetStackHighWaterMark 跑一段时间，看每个任务实际用了多少栈，按实际用量加一定余量分配，不要每个任务都给一个很大的默认值对于简单任务（只做状态机跳转、没有深层函数调用）可以给很小的栈，比如 128 字对于有 printf、sprintf 或者复杂字符串处理的任务，栈需要大一些静态分配 vs 动态分配：嵌入式项目里我倾向...

1.你这后面怎么那么大一个校徽（我费劲抢到的学校面试间。。对这场面试我足够看重）2.拷打科研经历15min，最后的结论是我觉得你这个做的没意义（那我也承认啊，那我硕士科研不就为了能毕业吗。。能有什么意义）3.你没有实习经历，那给你一个情景，你设计一下吧，要实现发红包功能，你底层怎么写围绕这个场景，拷打了40min。。我设计一种，面试官觉得存在问题，让我改，翻来覆去六版，还是不满意，ok，fine，那我不就是没实习才要找实习。。4.手撕，没什么好说的，秒了。。最后纠结了一会输出，发现我写的是对的。5.为什么hashmap可以O1访问到数组。我人晕了，不然呢。。那能是什么。姑且答了数组是连续的内存空间，可以根据首内存+偏移量得到数据说实话，三年前面字节，面试官独一份的掐秒表问问题，以及最后手撕没按她思路写，说没时间了那就这样吧，然后给我挂了。导致我心中挺排斥字节的。从三年前到现在，面了正好是39次了，下次刚好第40次，只有字节给我的体验最差。我始终觉得面试是个双向选择的过程，我不否认我没有出众的技术实力，我也认可公司或者部门想要高技术经验丰富的人，那不合适就友好结束，为什么非要在面试的过程中不断表现出负面的感觉呢？这也不是我第一次挂面试了，但上次挂面试我没有觉得什么，我认为我和面试官友好沟通了之后发现可能确实不太合适。只能说读研也改变了我，放以前我可能很生气，现在我只是觉得真没必要，都是打工人，无非生的早晚而已。愿每个辛苦找实习，投简历，做测评，做笔试，为面试焦虑的同学们都能被正常对待。