这周的一些面经

这周一腾讯QQ一面秒挂影响了心情,这周的面经都没写
面经的话尽量回忆一下

联想一面
1. 问了一个比较怪的问题,我没有很理解。就是我项目里面有做RLHF,他就问我的RM怎么训练的,回答给SFT模型加一个线性层输出reward值,然后就问我这个过程需要导什么库?答加载模型需要transformers库,然后问我加那个reward头需要什么库?有点懵,不是很懂他想问什么,加头的做法是参照LlamaforSequntialClassification做的
2. 然后其他的都是一些常规问题,不太记得了,没有做题

腾讯 QQ 一面
1. 主要拷打了一下实习和项目
2. 然后问我如果在QQ想做什么,回答了可能做QQ短视频、小世界的一些推荐(给自己挖坑,推荐只是速成了一下,不是很熟悉)
3. 然后开始问推荐怎么和大模型进行结合?问开放性问题:怎么去给QQ短视频里面的视频做推荐?怎么挖掘这些视频的标签? 只能说自己挖坑自己受苦
4. 手撕出了一个 寻找目标值,之前面试的时候做过,结果这次做的有些小bug,感觉是这个导致了最后挂

字节 广告算法 一面
重量级来了
1. 上来没有问实习,没有问项目直接开始八股轰炸
2. transformer相关经典八股,问了有一个问题我觉得值得说一下,就是问我知不知道序列中每一个token的embedding在经过很多层self attention之后会变得相似的问题以及对应的原因?之前没有思考过,当场思考了一下,意思大概是深层网络往往学到的是序列的全局特征,所以会相似,还有就是每一次做self attention相当于在做平滑。这部分确实还得再想想
3. 开始机器学习相关,手撕一个二分类的全流程,从输入到embedding到分类网络到sigmoid函数到交叉熵loss(中间的具体模型用一个函数代替即可)
4. 手撕上述交叉熵loss的链式求导,就是loss对p求导,p对sigmoid求导(这里需要记住sigmoid的导数等于sigmoid x (1-sigmoid),不然现场推怕是推不了一点)
5. 做一个最长公共子序列,算是常规
6. 改成子串再做一遍。。。。(这个还是想了好久怎么改DP的条件)
只能说不愧是字节,希望二面不要太折磨人😩

中兴 算法工程师(智算)一面
会议室里面进来了四个人😨,离谱
1. 主要还是问实习和项目
2. 其中一个面试官感觉像是套方案,疯狂问我实习部分继续预训练的数据大小、数据配比、数据清洗、训练流程
、训练参数、学习率,感觉是遇到这种面试官还真得牢记项目的全流程,一些环节忘了就有点尬了

智谱AI GLM对齐团队 一面
1. 实习、项目拷打
2. 因为是对齐团队,所以很care我有没有关注目前前沿的RLHF方法(前沿的关注不了一点,只能说了一些感觉有点早的东西)
3. 大概讲了 从优化PPO出发和优化DPO出发的两类对齐方法,优化PPO的比如deepseek的GRPO,优化DPO的比如一堆DPO变体,以及DPO加正则化的方法。中间还让我从强化学习的角度给出优化PPO的方法,我就讲了一下老本行,从PG到REINFORCE到TRPO到PPO,然后表示我也不知道怎么优化PPO,已经是强化学习工业界用的最广泛的了哈哈哈哈哈
4. 手撕了一个transformer的decoder block
5. 记忆里应该还是问了Deepspeed跟Megatron

智源人工智能研究院 行业大模型 一面
1.时长半个小时,主要拷打实习经历,我实习做的也是领域大模型。非常巧的是,面试官也在美团同一个部门实习过,甚至认识我老板,希望不要跟我老板对情况,戳穿我吹牛逼的东西

快手 推荐大模型 二面
1. 记不太清问了些啥了,感觉是实习主要加LLM的一些经典八股(感觉是不超出我目前写过的面经的范围)
2. 手撕了一道最小编辑距离,写的时候有一个地方=写成==了,一直检查不出来,给面试官逗笑了

京东 NLP 二面
1. 主要拷打实习,比较关注数据质量处理,以及模型评估方面,会care具体上线业务没有
2. 一些常规的LLM八股,有一个问题值得说一下。问了一个LLM推理的时候,如何从prompt到response?他想问的意思其实是LLM出来的结果不是prompt+response嘛,然后怎么去把response分出来,还说具体的代码里面会有一些额外操作,不是简单的截取然后decode,让我下去仔细看看
3. 手撕了一个topk,我直接heapq.nlargest,面试官说也行哈哈哈哈哈

中兴 算法工程师(智算)二面
1. 这一面感觉是很HR面的感觉,介绍实习的时候也是比较关注数据的来源、处理、采样方面,然后是聊天,各种查户口面试时间硬是拖到一个小时,本来预约的是半个小时。。

---------------------------
又是忙碌的一周,感觉是腾讯给我秒挂了真的很影响心情,毕竟是最想去的厂了
麻花腾!再给我一次👅的机会吧
#牛客创作赏金赛#
#腾讯# #美团# #百度# #拼多多# #科大讯飞# #联想# #中兴# #作业帮# #快手# #字节# #智谱AI# #京东# #智源#
全部评论
面试流程中的: 1. 京东 NLP 三面(已约) 2. 快手 推荐大模型 三面(已约) 3. 拼多多 算法工程师 三面(已完成,官网状态还是面试中不知道后面还有没有HR面之类的) 4. 科大讯飞 飞星 NLP 二面(已完成,官网状态面试中,但是超过一周没推进了,就当挂了) 5. 中兴 算法工程师(智算)二面(已完成) 6. 字节 广告算法 TAC 二面(已约) 7. 智谱AI GLM对齐团队 二面(已约) 8. 联想 一面(已完成) 9. 智源人工智能实验室 行业大模型 一面(已完成) 10. 同花顺 大模型 一面(已完成,超过一周没有推进,当挂了) 已经挂了的: 1. 腾讯 QQ 一面挂 2. 快手 快star大模型应用 一面挂,大语言模型算法、机器学习 简历挂 3. 作业帮 对话方向 一面挂 4. 米哈游 NLP 简历挂 5. 鹰角网络 做完笔试挂 6. 淘天集团 做完笔试挂 7. 字节 ailab 内推 简历挂 8. Minimax 简历挂 9. TCL 简历挂 10. Insta360 简历挂 11. 滴滴提前批 大模型出行方向 简历挂 12. 通义实验室 boss上问HR被告知最低要求一篇paper 简历挂 还在筛选:很多 阿里系的刚投,还没有面试(测评跟笔试给人做🤮了,每次投一个就得做一遍)
4 回复 分享
发布于 09-07 11:11 陕西
你这也太牛了
2 回复 分享
发布于 09-07 12:34 北京
大佬,真海投呀,
2 回复 分享
发布于 09-07 22:52 上海
我去😂古希腊掌管面试的神😅
2 回复 分享
发布于 09-07 22:52 陕西
token uniformity
1 回复 分享
发布于 09-07 11:25 北京
智源我也是行业大模型,一面是纯做题😂说是加了一个做题筛人的环节,二面才是技术
1 回复 分享
发布于 09-07 12:15 四川
优秀!
1 回复 分享
发布于 09-07 14:50 江苏
膜拜佬
点赞 回复 分享
发布于 09-07 14:01 北京
大佬太强了
点赞 回复 分享
发布于 09-07 20:43 安徽
大佬,手撕是使用本地ide吗?一些库函数感觉没代码补全,一时想不起咋写。😂
点赞 回复 分享
发布于 09-07 22:44 安徽
佬,你快手是kstar嘛?是哪个部门的呀,跟你说啥时候出结果了嘛,
点赞 回复 分享
发布于 09-09 11:17 北京
序列中每一个token的embedding在经过很多层self attention之后会变得相似的问题以及对应的原因? 这个问题得怎么解释呢?之前好像没看到对应的说法。
点赞 回复 分享
发布于 09-09 21:24 福建

相关推荐

40 95 评论
分享
牛客网
牛客企业服务