字节大模型算法二面 面经分享

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移

1. 自我介绍，介绍一下你觉得最有挑战性的项目2. 你提到用过多任务架构，任务数量多了之后内存压力怎么处理的？静态分配和动态分配你怎么选择？答：任务多了之后内存压力主要来自两块：每个任务的栈空间，以及任务间通信用的队列和信号量。栈空间的处理：先用 uxTaskGetStackHighWaterMark 跑一段时间，看每个任务实际用了多少栈，按实际用量加一定余量分配，不要每个任务都给一个很大的默认值对于简单任务（只做状态机跳转、没有深层函数调用）可以给很小的栈，比如 128 字对于有 printf、sprintf 或者复杂字符串处理的任务，栈需要大一些静态分配 vs 动态分配：嵌入式项目里我倾向...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. 项目拷打2.实习拷打3. 数据收集和处理，使用Grpah-Rag的优势，本项目中Grpah的作用。4. 训练数据的构建细节5. 遇到数据内容冲突时应该如何处理？6. Rec、MRR、Acc等常见检索指标。7. 除了LLM as a Judge，还有什么方法评测回答的效果？8. 当不同的专家对同一回答评分方差很大时应该怎么解决？9. 在校内的科研/实践经历。10. 常见的Agent和Memory管理的范式。11. 遇到的印象最深/工作量最多的实际工程编码问题。

1. 介绍一下你的实习、项目和论文，重点讲一个你真正做深了的点2. 介绍一个你最熟悉的大模型架构，并说清楚它在注意力结构、训练策略和推理优化上的特点可以拿 Transformer 系列来答。核心由 Embedding、Multi-Head Attention、FFN、残差连接和 LayerNorm 组成。注意力结构负责建模 token 间依赖，训练上一般采用大规模自监督预训练，比如 next token prediction，然后再做 SFT、偏好对齐。推理优化上会做 KV Cache、FlashAttention、Continuous Batching、量化和张量并行。如果你想答得更像大模型...