字节大模型面到三面了!撑住!

继续贴一下整理好的面试记录😬


面试问题:
- MLA是怎么做的?为什么它比LoRA快?同样是低秩分解,为啥推理时LoRA慢而MLA快?
- LoRA算法是怎么工作的?它的参数是怎么初始化的?你觉得它有什么缺点?
- 能介绍一下Flash Attention吗?它是怎么做到既省显存又提速的?
- 能聊聊你在阿里做的工作吗?RM的MoE结构为什么这么设计?参数量大概是多少?
- 提升模型的推理能力和指令跟随能力,哪个更难?为什么?优化指令跟随能力的方法和优化推理能力的方法有什么不同?
- RLHF的幻觉实验具体是怎么做的?能详细说说实验步骤吗?
代码题:
- 用np手撕beam search,我大概写了下实现,比如怎么办理beam中的序列,怎么计算新序列得分,这个确实抽象了(既然遇见了,有时间还是准备一下吧)

还有需要注意的是,在面试的时候,进入飞书会议后,不要切换后台!不要切换网页!不要切换窗口!只要切换了,就会被检测到(字节面试官亲自提示过😭
全部评论
请教下这个是用飞书会议app切网页会被检测到吗?忽然想起来之前面试有过邮箱弹窗
点赞 回复 分享
发布于 04-11 17:25 浙江
加油,借楼,我们这里缺大量算法工程师,有需要neitui联系我
点赞 回复 分享
发布于 04-08 17:49 天津

相关推荐

1️⃣自我介绍:【⌚️10分钟】点评:流水账,有些磕磕绊绊,自我介绍环节的项目介绍的很详细,非常冗余。优化:写逐字稿,背诵,提升语言表达能力。2️⃣经常问题的问题优化:【⌚️20分钟】1:transform结构了解吗?回答点评:回答的很简单,5分吧,说了transform的结构是encode-decode结构,分块,每个块里面有四个组建,MHA、FFN、LN、残差链接,介绍和理解不深刻。提升指导:梳理回答逻辑结构,讲解MHA、FFN、LN、残差链接的添加逻辑和含义,其中MHA给出代码层面理解,从2分钟的回答变成6分钟的回答。2:多头自注意力机制是啥?公式是啥?代码你会写吗?回答点评:讲了公式,但是掌握的不够细致,pytorch代码框架不熟悉,attention_mask机制没有写出来。提升指导:讲述代码的原理,如何使用代码回答问题,展示自己的理解深刻。3:rag中的多路召回是什么?embeding为啥用智源的BGE-large/Base?回答点评:使用了BM25和向量召回,但是没有讲出来两个的区别和联系提升指导:先讲原理,再讲述下语义理解能力和泛化能力的区别,计算的效率,两个互为补充等。3️⃣不会回答的问题指导:【⌚️40分钟】1:  LN不太会回答,看网上的回答很多,但是不是理解层面。2:我的向量召回是faiss做的,和这个相关的问题我如何准备?3:经常会被问到rag用的啥框架,这个问题如何回答?还需要准备框架的知识吗?4:面试官经常问我,rag的模型是啥?有做微调吗?如果不做微调怎么回答?5:大模型还需要补充那些知识?📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看8道真题和解析
点赞 评论 收藏
分享
评论
7
23
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务