知乎的算法实习就面了一面

bg 双非本 华五硕考公/考编/互联网/AI/安全/开发/读博本来以为上岸会踌躇满志 现在感觉一片灰黄老板是做llm ✖️ 系统安全的 有点 push做科研的话a会能毕业/走工程的话做项目就行估计不放实习 #考研#  #实习，投递多份简历没人回复怎么办# #大厂还是考编#  #没有实习经历，还有机会进大厂吗#

全程1h1.问项目2.八股transformer encoder和decoder的区别transformer encoder中的信息怎么用到decoder中RNN和transformer的区别讲讲对多头注意力的理解lora的原理大模型如何加速推理？如何压缩？模型蒸馏3.算法题二维数组查找二分查找左侧边界

投的是算法工程 算法工程岗位。做的是 Ai infra。实际上是做大模型推理加速训练加速之类的优化框架， 没啥经验。1. 自我介绍2. 介绍一下自己第二段实习遇到的难点（就从算法和工程两块随便说了一点）3.C++指针和引用的区别4.STL 常用吗？ map 的具体实现懂吗？（红黑树，不过用 umap 更多，哈希表）5.那你介绍一下哈希表的常用实现方式。（就讲了一下拉链法， 桶，重哈希啥的）6. 智能指针了解吗？ 介绍一下7. 右值引用知道吗？移动语义介绍一下。8.transformer 的结构了解吗？介绍一下9.有了解过大模型的并行优化方式吗？（随便讲了一下模型并行 数据并行 流水线并行）10.那我现在一个 gpu 都放不下一层怎么办？（张量并行）11.那你知道张量并行怎么设计吗？就是矩阵之类的怎么拆？（这个不太了解了）12. deepspeed 和 megatronLM 有了解吗？（不太了解其实，只用过，什么 3D 并行13.flash attention 有了解吗？（大概讲了一下 QKV 中间状态不保存， 后向重新计算， 还有 softmax 分块计算）代码题字符串反转 to be or not to be 反转成 be to not or be to整体而言不难，但是主要是整体问的都比较底层和框架一点，其实都不太了解， 不知道面试官咋看。

时间：2024.4.9，下午3点面试形式：线上，飞书岗位：测试开发--抖音电商其实我的经历和测开没有任何经历，我的简历是关于LLM的简历，但是没想到过了初筛，进面试了（当时抱着随便投一下的态度，因为我的算法岗位实习被挂麻了）自我介绍（介绍的很短，因为我根本没有相关的东西介绍）hr是女面试官，hr真的很好，全程都在引导我说，没有施压（主要是我菜）。问了我上一段实习经历（LLM相关），奇妙的点就来了，她不太懂LLM相关的东西，然后我介绍一点，她不懂的就问我，我就给她解释（比如：PT、SFT、RAG什么的）然后问了我的课题，问了我的项目，因为做过一个图像的项目，关于动作识别的，她对这个比较感兴趣。聊...