字节多模态算法凉经,不知道为啥挂了...

1.实习介绍
2.防止 sft 灾难性遗忘你有哪些方法?
3.sft 和 rl 区别是什么?数据格式有什么区别?
4.Reasoning 推理过程有做什么 rl 吗?有哪些奖励?
5.rl 有哪些算法?reward 常见的有哪些任务?
6.为什么现在不用 reward model?区别是什么?
7.PPO 模块介绍一下,公式说一下?critical model 什么作用?
8.DPO 公式介绍一下,和 sft 有什么区别?
9.GRPO 少了哪些模块,如何在 GRPO 基础上防止模型波动?
10.介绍位置编码,PE、ROPE,现在常用哪些?为什么现在模型上下文只到 128K,如果是你你会做哪些改进?
11.高效推理了解过吗?如何做到高效推理?你知道哪些方法?
12.Lora 是什么?初始化讲一下?是否能对换?还有哪些变体?
13.KL散度作用是什么?推一下公式。如果是确定标签,那会有什么变化?从数学原理解释
13.编辑距离,用 n 的空间复杂度,如果我要打印编辑路径,你会怎么改,在哪个地方改?
基本全答上来了,手撕也很快,实在不知道为什么挂了
全部评论
感觉年前kpi面
点赞 回复 分享
发布于 02-09 16:20 河南

相关推荐

很多人问我如何准备大模型的面试,分享下我的经验,针对两种情况:1. 有大模型实习2. 无大模型实习针对无大模型实习的情况,我建议先找一段中厂实习为主,比如 zhipu、Minimax (当然有大厂进大厂)这些,相对容易进,尽量积累大模型实习经历。针对有大模型实习的情况,复习内容为:1. 常规八股(transformer、bert 等)2. 最新八股(GQA 等)3. 技术报告(一定要自己看原PDF,目前推荐 DeepSeekV3, R1, kimi1.5, Minimax-01, Qwen2.5, Qwen2.5-VL)4. 手撕 Leetcode:Hot1005. 手撕模型,比如 MHA 这些首先是常规八股和最新八股,这一部分可以自己找找网上资料,整理好的,背。然后是技术报告,目前推荐的内容有:1. DeepSeekV3:必读2. DeepSeekR1:必读3. Kimi1.5:选读4. Minimax-01:选读,据我所知最长上下文模型(外推到 4M,不过好像被 LLama4 的 10M 超过了)5. Qwen2.5:必读6. LLama3.1:必读7. Qwen2.5-VL(如果简历有多模态内容):选读重点关注:1. 阶段训练(预训练几段、Post-training 几段?上下文用了多少?数据配比是什么?)2. 模型创新点(MHA 创新是什么?作用是什么?)3. 上下文优化创新点(一般是优化显存和阶段训练)4. 多模态优化创新点(简历有多模态内容)5. 几个模型不同之处(比如 Qwen2 和 Qwen2.5 的不同之处)最后是手撕,Leetcode 只刷 Hot100 够了,模型手撕建议关注(我目前会的):1. MHA2. LayerNorm3. Transformer Encoder (MHA+LayerNorm+FFN)4. PE(绝对位置编码)5. ROPE6. SwiGLU7. RmsNorm每次面试前快速过一遍就 ok 了。
查看20道真题和解析
点赞 评论 收藏
分享
评论
点赞
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务