字节 大模型算法 一二三面 面经

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移

攒攒人品！ 1. 项目拷打2. 多模态大模型有什么了解3. Agent skills4. 怎么加强大模型记忆机制5. 多Agent执行策略的智能选择和切换机制设计6. SSE的局限性7. lora效果不好怎么办8. RAG动态知识更新9. 大模型项目遇到了什么问题10. lora的缺点，改进方向11. 复杂任务执行准确率提升的评估方法12. 多轮对话的实现方案13. RAG评估方案14. 了解过市面上有哪些智能体agent吗15. 介绍一些AI大模型16. MCP和Function Calling

祝大家都能拿到满意的Offer！1.项目拷打2.你们这里说的分层混合编排式 Agent 架构设计是具体怎么做的3.我问一个就是你们在Routing那里，你会根据难度去做不同的一个处理，对吧？那你们这个难度是怎么划分的呢4.你刚才提到就是说，比方说如果刚开始有动态升级的一个范式，就是比方说这个任务刚开始被分配到了7B但是如果它在生成的过程当中，置信度或者说生成的结果它的置信度比较低，你们这个置信度是怎么生成的呢5.你们大概配备了多少个工具6.以风险评估为例，你们的输入输出分别是什么呢7.你的字段是什么8.比方说你说的收缩压这个字段，在用户的问题当中可能不会有这样的一个检测数据。那这种情况你们是怎么来处理呢9.我看到你这里有说在引入了应用层的MOE按照任务动态的激活专家路径，这个具体是怎么实现的呢10.这里就有个问题，我们针对不同的科室去训练一个微调专家，那你们是你们怎么训练的呢？怎么针对于不同科室去训练的，第二个问题就是逻辑上你们这个专家数量可不会少，然后你们的工作量会比较大，这个问题你们又是怎么解决的呢11.你们最终大概是用了多少个专家12.每个大概训练的数据量是多少呢13你们的这个70b模型用的是自己？从头开始预训练的吗？还是用的开源的14那你们医疗数据你们医疗数据的主要来源是在哪里呢？

攒攒人品！有面试过同岗的朋友欢迎评论区交流1. 实习拷打2. 项目拷打3. RLHF中奖励模型（RM）的训练数据如何构建？4. 推理加速技术5. 模型剪枝/量化（GPTQ、AWQ）、服务化框架（FastAPI+vLLM）6. 如何优化大模型在长文本生成中的显存占用？7. 微调方法对比8. 设计一个ai爬取字节视频，如何设计？9. Transformer自注意力机制、位置编码、梯度消失/爆炸的解决方案10. 如何解决大模型API服务的响应延迟问题？