字节 推荐算法大模型 实习一面

给我面没招了,发点面经攒攒人品~
项目细节拷打
八股
1.大模型了解多少,强化学习了解什么
2.DPO的全称是什么,公式是什么,直接体现在哪里
3.与PPO对比

归一化方法
• 常用的归一化方法有哪些
• 讲讲RMSNorm

AUC
• auc的定义
• 从样本里随机去掉一些负样本,Auc怎么变

优化器
• 讲一讲常用的优化器
• sgd是什么,Adam相对于sgd改进了什么

位置编码
• 正余弦位置编码的公式

手撕
• 计算逆序对数量
• 多头自注意力
全部评论
感觉问的似乎不多吧
点赞 回复 分享
发布于 03-12 20:11 北京
宝子,你这篇面经很有价值诶,感谢分享!!我私信你啦,你看看~
点赞 回复 分享
发布于 03-12 14:31 北京

相关推荐

攒人品中,祝大家都能拿到满意的Offer!1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射,你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖,大模型生成的候选列表概率分布,如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排,现在的瓶颈不在计算而在存储带宽。如果分阶段推理,我在Prefill阶段采用了FlashAttention-3,但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重,怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型,如果我要做Speculative Decoding,你如何设计那个Draft Model?这个小模型是该学大模型的 Logits 分布,还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景:某个新入驻的土豪广告主投放了一批高质量视频,但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐,导致第一波推荐给了错误的人群,产生了极高的 Negative Feedback,生成式模型的自回归特性会不断放大这种“第一印象”,导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种,在不重新训练模型的前提下,通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后,竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣,发生了明显的 Catastrophic Forgetting,设计一种基于 Gradient Orthogonal Projection的优化器,确保模型在更新实时热点知识时,参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看,为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移
查看9道真题和解析
点赞 评论 收藏
分享
评论
6
18
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务