【旷视科技】研发实习生

投的是算法工程 算法工程岗位。做的是 Ai infra。实际上是做大模型推理加速训练加速之类的优化框架， 没啥经验。1. 自我介绍2. 介绍一下自己第二段实习遇到的难点（就从算法和工程两块随便说了一点）3.C++指针和引用的区别4.STL 常用吗？ map 的具体实现懂吗？（红黑树，不过用 umap 更多，哈希表）5.那你介绍一下哈希表的常用实现方式。（就讲了一下拉链法， 桶，重哈希啥的）6. 智能指针了解吗？ 介绍一下7. 右值引用知道吗？移动语义介绍一下。8.transformer 的结构了解吗？介绍一下9.有了解过大模型的并行优化方式吗？（随便讲了一下模型并行 数据并行 流水线并行）10.那我现在一个 gpu 都放不下一层怎么办？（张量并行）11.那你知道张量并行怎么设计吗？就是矩阵之类的怎么拆？（这个不太了解了）12. deepspeed 和 megatronLM 有了解吗？（不太了解其实，只用过，什么 3D 并行13.flash attention 有了解吗？（大概讲了一下 QKV 中间状态不保存， 后向重新计算， 还有 softmax 分块计算）代码题字符串反转 to be or not to be 反转成 be to not or be to整体而言不难，但是主要是整体问的都比较底层和框架一点，其实都不太了解， 不知道面试官咋看。

面的AML的训练/推理框架方向的开发一面：手撕：力扣33进程、线程pytorch的多机多卡训练二面：手撕：力扣208、MHA(pytorch)pytorch、onnx的优缺点静态图、动态图、torch.compilecuda概念、stream、warp等矩阵乘怎么做、为什么要分块、循环顺序是什么softmax上下溢怎么处理、flashattention中的softmax是怎么做的总结：字节的面试官确实都很年轻，面试的时候项目技术等抠的也很细

二面的时候面试官问我为什么transformer不用bn而是用ln。我看了几个网上的八股回答，结果面试官还是不满意，有没有懂哥讲一下啊？ #nlp# #腾讯# 我的回答也是不同句子长度不一样，然后每个句子的位置不一样，可能是表达不大好，那个老东西不满意

小米    一面        1. 介绍Fastllm.cpp的技术细节        2.PageAttention的作用            3.flashAttention的算法流程        4.量化的原理        年前面的，大概是这些的    二面        介绍了一个项目，然后没有如何八股    hr面        聊期望薪资以及手里有那些意向oc小米的面试体验很好，尤其是一面面试官聊一下关于这个方向怎么去学的事情，十分舒服的。#金三银四，你有感觉到吗#