算法暑期实习面经

投递时间3.10~4.10
面了淘天 控股 字节 腾讯 蚂蚁的大模型岗
大概问的都差不多,主要是简历的东西,剩下一点时间会问一些八股。
总结一下八股:强化学习(目前每个面试官都会问),L1 L2正则化,LoRA原理,其他PEFT方法,SFT和DPO的区别,SFT和DPO训练心得,Transformer结构,位置编码,长度外推,优化器,flash attention,分类为什么用cse而不是mse,BERT系列训练流程与各种变体,AUC指标,最近读过的论文。
#暑期##算法#
全部评论
码,记得学强化学习
点赞 回复 分享
发布于 04-23 11:10 福建
有手撕吗
点赞 回复 分享
发布于 04-22 19:35 湖北

相关推荐

不愿透露姓名的神秘牛友
06-18 20:40
点赞 评论 收藏
分享
1️⃣自我介绍:【⌚️10分钟】点评:流水账,有些磕磕绊绊,自我介绍环节的项目介绍的很详细,非常冗余。优化:写逐字稿,背诵,提升语言表达能力。2️⃣经常问题的问题优化:【⌚️20分钟】1:transform结构了解吗?回答点评:回答的很简单,5分吧,说了transform的结构是encode-decode结构,分块,每个块里面有四个组建,MHA、FFN、LN、残差链接,介绍和理解不深刻。提升指导:梳理回答逻辑结构,讲解MHA、FFN、LN、残差链接的添加逻辑和含义,其中MHA给出代码层面理解,从2分钟的回答变成6分钟的回答。2:多头自注意力机制是啥?公式是啥?代码你会写吗?回答点评:讲了公式,但是掌握的不够细致,pytorch代码框架不熟悉,attention_mask机制没有写出来。提升指导:讲述代码的原理,如何使用代码回答问题,展示自己的理解深刻。3:rag中的多路召回是什么?embeding为啥用智源的BGE-large/Base?回答点评:使用了BM25和向量召回,但是没有讲出来两个的区别和联系提升指导:先讲原理,再讲述下语义理解能力和泛化能力的区别,计算的效率,两个互为补充等。3️⃣不会回答的问题指导:【⌚️40分钟】1:  LN不太会回答,看网上的回答很多,但是不是理解层面。2:我的向量召回是faiss做的,和这个相关的问题我如何准备?3:经常会被问到rag用的啥框架,这个问题如何回答?还需要准备框架的知识吗?4:面试官经常问我,rag的模型是啥?有做微调吗?如果不做微调怎么回答?5:大模型还需要补充那些知识?📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看8道真题和解析
点赞 评论 收藏
分享
评论
9
40
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务