字节Tiktok推荐算法实习二面

发一下问题给大家参考，攒攒人品！有面试过同岗的朋友欢迎评论区交流1. 介绍一下Transformer的结构，为什么Self-Attention比RNN/CNN更适合推荐系统？2. BatchNorm和LayerNorm的区别？推荐模型里为什么常用LayerNorm？3. 梯度消失和梯度爆炸的原因？如何解决？（从优化器、初始化、网络结构三个角度回答）4. 多任务学习（MTL）的常见结构？MMoE和PLE的区别？5. 多任务学习中，如果不同任务的loss量纲差异很大，如何调整权重？（GradNorm、Uncertainty Weight等方法）6. 推荐系统的经典召回策略有哪些？（协同过滤、双塔模型、FM等）7. 双塔模型的负采样策略有哪些？为什么In-batch Negative Sampling效果不错？8. 如何解决推荐系统的冷启动问题？（基于内容、迁移学习、Meta-Learning等）9. 如何评估推荐系统的多样性？（Coverage、ILS、DPP等）10. 线上A/B测试时，CTR提升但停留时长下降，可能是什么原因？如何排查？11. 数组中的第K个最大元素（快排变种）

来呢，来呢。鸽了这么久，我终究还是来了，补上上次oc后答应群友的面试记录。祝愿大家都成功！！！自我介绍在腾讯干的事，针对实习内容进行深入了解。redis在项目中的作用。redis做缓存用过吗，优势是什么？redis缓存击穿，穿透，雪崩是啥，如何解决这些问题了？拷打多智能体系统项目，深入挖掘多智能体设计。项目中设计多智能体的流程是啥？多智能体系统如何设计同步异步，如何去统一多智能体评判标准了？uav项目系统的规模和整个流程设计是如何做的？有没有操作过协程了，协程泄露的情况，如何进行回收了？算法题：二维数组，行内有序，行间无序，如何找top k？ 反问：业务整体强度还行，有点压力。面试官语速很快，...

给我面没招了，发点面经攒攒人品～项目细节拷打八股1.大模型了解多少，强化学习了解什么2.DPO的全称是什么，公式是什么，直接体现在哪里3.与PPO对比归一化方法• 常用的归一化方法有哪些• 讲讲RMSNormAUC• auc的定义• 从样本里随机去掉一些负样本，Auc怎么变优化器• 讲一讲常用的优化器• sgd是什么，Adam相对于sgd改进了什么位置编码• 正余弦位置编码的公式手撕• 计算逆序对数量• 多头自注意力

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移