字节-Tiktok-推荐算法 面经

发点面经攒攒人品1、你在线上或离线训练时，过拟合怎么处理？直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失？你更偏好哪几个，为什么（从鲁棒性、梯度、数值稳定性上谈）。4、L1 和 L2 正则你怎么选？它们各自的效果与风险是什么，工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写？在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么？你怎么计算它，在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时，ESMM/ESMM2 是怎么推导与工程落地的？线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来？Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk？如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。11、位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。12、长上下文怎么搞？Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力，你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么？它的加速价值有多大，吞吐与延迟你是如何权衡的，vLLM/paged‑attention 需要注意什么。14、PEFT 方案里（LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter）你怎么选？说说稳定训练的经验。15、SFT 和对齐（RLHF/DPO/IPO/PPO）原理差在哪？在不同数据与资源条件下，你怎么选路线。16、RAG 系统你怎么设计？切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的？System/角色/约束/分步指令怎么写，如何防越狱

1. 介绍一下你做过的最有挑战性的项目，重点说说系统设计和性能优化。答案要点：项目背景：业务规模、技术挑战、为什么有挑战性系统架构： 整体架构图：模块划分、数据流技术选型：为什么选择这些技术设计模式：使用了哪些设计模式，解决什么问题性能优化： 瓶颈分析：如何定位性能瓶颈优化方案：具体的优化手段和效果量化指标：QPS、延迟、资源占用的改善技术难点： 并发控制、数据一致性、容错处理如何权衡性能、可靠性、可维护性个人成长：技术深度、架构思维、问题解决能力2. 如何设计一个分布式限流系统？需要考虑哪些问题？答案：限流算法：固定窗口：简单但有突刺问题滑动窗口：更平滑，但内存占用大漏桶（Leaky Buc...

发点面经攒攒人品项目拷打深度学习简答：1. Transformer -> Attention公式，原理2. Flash Attention原理3. LN和BN的原理和区别4. 常见的分类损失函数5. 常见激活函数有哪些6. ReLU公式，用法，存在的问题7. 常见的回归损失函数手撕代码交换正整数的两位数字，使其尽可能大给定一个N位、M进制的正整数，交换这个整数的两个数字（仅一次），使其尽可能大

岗位名称：推荐算法面试时长：1h+自评分：7/10是否下一轮：待通知一、检索与排序在项目中使用的 BM25 原理是什么？相比 TF-IDF 改进在哪里？公式中每一项的含义是什么？（追问）k1 和 b 参数分别控制什么？如果 b=0 会发生什么？为什么在实际系统中要做混合检索？Sparse 检索和 Dense 检索的基本原理分别是什么？（追问）两种方式在长尾 Query 上的表现差异如何？Dense 检索中常见的相似度度量方式有哪些？为什么很多系统选择 Cosine 或 Inner Product？（追问）如果向量没有归一化，Inner Product 和 Cosine 的结果会有什么差异？在你...