一面 1.Bert原理2.LLM中常用的激活函数有什么3.Attention有哪几种位置编码有哪几种4.有个圆的半径是1计算圆内任意一个点到圆心的距离的均值5.每包干脆面里有一张英雄卡 已知英雄卡共有108种，平均买多少包干脆面可以集齐所有卡手撕:课程表二面1.为什么现在mlp的激活函数都用relu 为什么不用sigmoid/Tanh ?2.怎么能把序关系学得更好3.AUC 、回归类AUC 物理含义和计算方式4.Loss乘10和学习率乘10之间有什么区别5.Prenorm和postnorm是什么区别手撕:最长有效括号三面1.如何在加入特征以前就判断特征的加入是否会提效2.两个重复的特征输入给模型会比只输入一个好么从数学角度具体分析3.样本类别的不均衡会导致模型学不好少数类样本要怎么去解决呢4.你的模型最重要的特征是什么 你怎么分析出来的

一、手撕： 1. Leetcode 1143 最长公共子串2. 最长子串二、八股1. 为什么要除以根号dk，为什么不是dk，根号dk+12. 为什么embedding 空间里相近的词语，距离很接近，怎么做到的？3. DPO的损失函数是什么样的？DPO训练会存在什么问题？4. PPO为什么要用一个Reward Model和一个Critic Model，一个是当前的价值一个是未来的价值，有什么区别吗？为什么要这样用？5. 讲讲多头注意力机制，说说Q, K, V三者是什么意思？如果我把K替换成Q，变成Q, Q, V还能工作吗？6. 你了解哪些聚类方法？说一说。为什么高斯聚类能处理不规则分布的情况？原理是什么

1．自我介绍＋项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7

1. 手撕最大岛屿面积，没撕出来，面试官改成再让撕快速排序2. 介绍召回3. itemcf 相似度公式4. din模型结构5. 介绍推荐系统链路6. 每个阶段都知道哪些模型7. 反问业务面试准备不多，但小红书是我很想去的公司，刚开始找实习就投了，面邀来的很快，再多点时间准备就好了