字节大模型算法校招一面

1.项目介绍,问实习和论文
2.大模型的超长上下文问题怎么解决预训练和 SFT 的损失一样吗
3.RL 中 Reward 和优势有什么区别
4. LoRA 训练和全参训练的优劣
5.了解哪些常用的 RL 算法
6.最新的 GSPO 重要性采样
7.讲一下 DeepSeek R1,推理模型怎样训练
8.GRPO 比 PPO 强在哪
9.对 DAPO 和 VAPO 有了解吗
10.代码:接雨水
全部评论
感觉这个挺有难度的
点赞 回复 分享
发布于 02-01 20:23 北京
LoRA 训练和全参训练的优劣回答上了嘛
点赞 回复 分享
发布于 01-19 19:58 云南

相关推荐

1️⃣算法题:1- 拓扑排序实现任务调度器并用伪代码实现work-stealing的优化版本2- 一条包含字母 A-Z 的消息通过'A' -> 1,'B' -> 2,..., 'Z' -> 26方式进行了编码,给定一个只包含数字的非空字符串,求解码方法的总数3- 有一个长度为n的序列a1,a2,..., an,我们希望选择一个最大公约数不为1的子序列,求可以选择的最长子序列长度,以及这种最长的子序列总共有多少种。如果两个子序列所包含的元素值的多重集合相同,则认为它们是同一种方案,即不区分下标位置,仅按所含数字及出现次数判断是否相同。 数据范围:1 <= n <= 2e6, 1 <= ai <= 2e6, 保证序列a不含12️⃣cuda手撕题:1- max reduce,input为 [N, C, H, W] = [128, 16, 256, 256],output为[N, H, W]2- per row量化算子3- 计算自然对数e3️⃣ai infra或算法八股:1- 介绍一下MeanFlow2- 训练diffusion model或flow matching model时timestep采样使用什么分布3- score matching中score的计算公式4- MTP和Eagle的区别,MTP head的prefill过程,MTP head的kv cache变化5- mma和ldmatrix在cutlass CuTE中的thread value layout6- 投机采样的加速比分析公式,MoE模型的投机采样遇到的性能问题7- FSDP2和FSDP1的区别
查看13道真题和解析
点赞 评论 收藏
分享
评论
2
7
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务