NLP算法面经5

面试问题：- （针对简历提问）你工作里主要关注哪些指标？解释一下AUC含义、计算和作用- 主流的开源大模型结构有哪些？（prefix decoder，casual decoder、encoder-decoder）- 介绍一下layernorm和batchnorm的区别？- 在机器学习里，怎么处理长尾数据和多峰数据？- 怎么解决模型的冷启动问题，你觉得LLM在冷启动方面能够起到什么作用？- 介绍一下常见的优化算法（SGD ->Adagrad ->RMSProp ->Adam -> AdamW）？优缺点- 为什么Adam不一定最优而SGD最优的？怎么理解分析？- （针对简历提问）你工作里的对比损失是怎么构造的，有什么作用？介绍常见的对比损失的公式。代码题：- 数组第K大。给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。（力扣215原题）- 手写对比损失的计算（结合项目），并简单说了一下原理。（大概写出来就好）二面我这个是交叉面，提问的有部分设计大模型，也当然我简历上有大模型，所以问了一些llm+搜推的内容，但这部分交叉问题比较浅，能说个大概就很好，同时也有很多经典的机器学习面经问题。因为项目里提到了对标学习，所以面试官在代码考核部分让我写个示例，所以写进简历的一定要准备好（包括流程步骤，代码实现大概要清楚）。面广告算法的岗位，机器学习面经暴率很高，建议熟背，就算是看过有印象，问到的时候也会基本很稳。

bg：双9，2024级硕，传统工科专业，算法知识范围仅限知道一些机器学习理论，了解基本的pytorch语法，打算砖码算法岗位，计划研1下找一段实习，从今年3月初已经开始在各大平台搜索实习经验了。转码时间线：2.28开始有实习想法，但是在岗位上纠结，在后端，大模型岗位纠结。最终决定大模型岗3.1-3.7吴恩达机器学习3.8-3.21李沐深度学习3.22开始刷leedcode3.24开始做简历3.24-3.25在github上跑开源项目：BERT部署+文本分类3.25-4.1在github上跑开源项目：ChatGLM-6B部署+LLaMA-Factory微调+Prompt模板3.27注册BOSS直聘3.28参加了第一场初创公司大模型的面试，感觉面试还可以，基本上能hold住但最后也都无疾而终了，盲猜可能是技术栈不太相符以及觉着我是低年级。3.29-4.5在github上跑开源项目：Llama3-8B+RAG4.7收到三家公司面试4.7下午面试一家中厂，问题太工程，而我是凑开源项目+偏算法理论性的科研，完全经不住拷打。4.8收到第一个offer，岗位感觉偏大模型调研，拒绝。4.10收到第二个offer，离学校路程半小时+大模型核心岗，但小厂，接收。回归整个实习准备，对我个人而言其实最难的是不断细化调整方向，以及在面试pass被无数次的心态调整，但总体来说是看着自己一步步的进步。记得第一次修改简历时，我对着空白文档发呆了两个小时，如今却能快速抓住岗位JD的关键词进行精准匹配；曾经在群面中紧张到声音发抖，现在面对压力面试已经能从容展现逻辑思维。

1. 自我介绍2. 过一下你觉得最好的项目/实习。说了一个教程类开源项目，其中包括部署、LoRA微调等内容。又说了了另一个在学校做的项目，问的很细，包括我们使用Function Call做检索的流程、用langchain如何实现的，内部原理是什么。3. 下一个项目BERT相关的，问了问Transformer的原理结构，他的优点是什么，我讲的是他是不限制距离计算，有效遏制了经典RNN模型的长序列遗忘问题。问了问BERT的原理，幸好看过原论文，简单说了下。4. 下一个项目是做的Qwen SFT，训练数据如何生成的，多少数据，训练的参数，训了多久。5. 问了强化学习deepseek，我答了GRPO和PPO，问了DPO我没看过。6. medium题

4.21号 45min电话面1.this指向问题2.三栏布局3.问了很多ai大模型，为什么我简历里的ai项目不用大模型4.计算机相关课程最喜欢哪个 最不喜欢那个5.为什么不喜欢，认为课程中什么最困难6.计网几层协议，为什么要分这么多层。7.对哪个数据结构最有印象，说了哈希表，让我举个例子，然后复述了两数之和8.前端除了页面还能用来干什么。9.跨域10.事件冒泡11.class冲突怎么解决12.前端的发展13.git常用指令14.学过什么语言，怎么学习前端的，为什么学前端秒挂