水滴算法一面

40min 1.挑一个实习项目介绍2.手撕:最短路径 和为k的子数组3.介绍理解的推荐4.介绍了解的精排模型5.wor2vec 训练方式 做的优化6.deepfm fm的复杂度7.Bert的结构7.din sim 具体怎么做的(问的较深)8.介绍 Lora 微调 参数以及初始化反问:业务 对我的建议 面试官问我的意向

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好（大一些，甚至可以到10k+，为12.了构造好的negative样本）13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素

实习介绍——5min项目相关细节提问——5min1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash Attention 的原理，矩阵 tiling 的过程说细一点，最好把 shape 也讲清楚。手撕算法：经典接雨水+最长上升子序列

1. 实习项目问的很细，数据构造，微调参数等2. 如果子agent回复不对怎么办？反思？跳不出去怎么办？限制次数3. LORA和全参数微调的区别4. DPO，PPO，GRPO5. 逻辑回归、XGB和神经网络的区别6. XGB怎么做特征重要性的？gini系数是什么？7. Deepseek MLA？为什么压缩？8. Transformer encoder？为什么需要FFN？9. AUC物理意义，公式，公式含义code：重排链表