快手.大模型应用一二面

🍓一面时长约50min,面试官很和蔼,体验感还不错。
1.面试官先简单介绍了下团队,然后是自我介绍;
2.拷打了一下项目和论文;
3.为什么多头注意力能提升表达能力?
4.为什么要在大模型中使用 RMSNorm ?和 LayerNorm 有什么差异?
5.LoRA和 PromptTuning 有何区别,分别适用于什么场景?
6.模型微调时遇到过过拟合吗?怎么处理的?
7.大模型推理时的加速思路?
8.KV Cache 是怎么起作用的?为什么对长上下文推理很关键?算法题手撕:
字符串的全排列。
二叉树序列化与反序列化。
✅面试感受:整体提问节奏比较平稳,面试官很有亲和力,有的地方卡住了还会给提示。
🍓二面时长约40min,主要是针对简历进行深挖。
1.自我介绍。
2.深挖项目,针对项目思路不断追问。
3.大模型生成内容如何做去重过滤?
4.如果词表特别大(10w+ token ), Softmax 加速通常有哪些实现?
5.如果要在中文领域做 Instruction Tuning ,需要注意哪些数据问题?
6.反问
✅面试感受:二面的氛围和一面截然不同,面试官提问非常犀利,没有太多套路问题,并且对细节很关注。
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论
同学,瞅瞅我司,医疗独角兽,校招刚开,名额有限,先到先得,我的主页最新动态,绿灯直达,免笔试~
1 回复 分享
发布于 08-28 19:38 广东

相关推荐

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积,减少参数量,保留主导方向,训练高效)3.了解 DeepSpeed 吗,ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态,2优化梯度,3切分参数,全面节省显存)4. Qwen的模型结构是怎么样的,相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm,和LLaMA架构非常相似,差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构,Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG,RLHF对齐,事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方,DeepSeekMoE为什么效果好,有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗,包括FP32和INT8这些,在训练大模型的时候,应该怎么选择(FP16精度高但易溢出,BF16动态范围大;训练常用BF16混合精度,推理用INT8量化加速)8.讲-下 RLHF 的流程,写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的,你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率,需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组
查看9道真题和解析
点赞 评论 收藏
分享
评论
6
49
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务