阿里nlp算法一面-秋招面经

一面: 1.八股：Encoder与decoder的中Attention区别？2.八股：Attention如何计算？为什么除以根号下Dk？mask attention是如何实现的？3.八股：除了MHA还知道哪些(GQA MQA MLA)讲原理4.八股：为什么要用位置编码？为什么要用sin_cos？5.项目：问之前实习的Agent的设计逻辑，问创新方法的实现6.项目：你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及什么时候用FSDP会更好？7.项目：问Agent的工具tool的设计，是否是workflow形式8.项目：了解哪些agent开发框架，例如langchain和LlamaIndex，他们核心应用场景有何不同9.项目：问数据的输入输出格式如何保证大模型输出稳定的json做了哪些工作10.智力题：有12个外观相同的芯片、其中一个重量不同(不知轻重)，用天平最少称几次能找出这张芯片？11.代码题：lc215 数组中的第K个最大元素

1.问了下为什么要跨到计算机来，怎么学习的。2.慢SQL调优的步骤3.查询语句offset+limit为什么慢，如何优化。4.联合索引失效的场景有哪些。什么是覆盖索引？5.悲观锁和乐观锁的区别，举例什么场景下会用到。6.分布式锁解决并发问题的时候，锁是否设置了失效时间？为什么要引入看门狗机制？普通的分布式锁会存在哪些问题。7.MySQL与Redis的一致性是如何保证的？8.监听binglog的方式。消息队列如果丢失掉监听到的信息怎么办？重试多次都失败怎么办？9.消息队列消费幂等性是怎么保证的？有序性呢？10.在团队协作中是如何跟同事沟通解决问题的？11.项目中最困难的部分是什么？怎么解决的。12.金融人眼中的技术有什么独特的视角。手撕：给一个数组，一个int型target。求使得子数组和大于等于target时，最小的子数组长度。

1.八股：Transformer中哪个模块的计算量最大？如何优化2.八股：Transformer 的位置编码方式有哪些？RoPE 的核心思想是什么？3.八股：在大模型推理阶段，KV Cache 的作用是什么？4.项目：在项目中你用过 DPO 吗？和 PPO 相比，它有什么优缺点？5.项目：如何在有限算力下做大模型微调？常用方法有哪些？6.项目：训练一个7b模型要占用多少显存，不同zero阶段能节省多少显存7.项目：如果让 agent 调用搜索引擎，如何避免无关结果影响回答？8.项目：你在项目里有没有做过 RAG 里的“召回-过滤-生成”三段式 pipeline？能不能细讲一下？9.代码题：lc141 环形链表

八股文: 1.为什么图像要划分 patch，对应物理含义，对比联系 nlp 文本2.不同 loss 应用任务场景，解释 loss 怎么算3.lora 原理，初始化，为什么，对比 sft4.图像分割任务数据少，不同场景数量不均衡怎么解决，过拟合欠拟合，怎么解决，除了加数据呢，除了改loss 呢(还说了数据增强)5.训练网络过程的一些优化6.batchnorm和layernorm 区别，为什么用，在哪里用7.attention 及其变体原理，cross attention 的 qkv 来自哪里8.其他的记不太起来了，都是基于简历和组内业务的延伸好像，总结来说都不难，简历拷打内容:1.自述最得意的 paper 和实习*1，你觉得你做得最好的一点在哪里,2.期间穿插模块细节询问，实现手段，觉得有什么问题，怎么改进，3.询问自己做的一个小 demo，各个模块设置的动机，然后开始压力我