字节实习 大模型算法面经

攒攒人品！ 1. 项目拷打2. 多模态大模型有什么了解3. Agent skills4. 怎么加强大模型记忆机制5. 多Agent执行策略的智能选择和切换机制设计6. SSE的局限性7. lora效果不好怎么办8. RAG动态知识更新9. 大模型项目遇到了什么问题10. lora的缺点，改进方向11. 复杂任务执行准确率提升的评估方法12. 多轮对话的实现方案13. RAG评估方案14. 了解过市面上有哪些智能体agent吗15. 介绍一些AI大模型16. MCP和Function Calling

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移

发点面经攒攒人品～1.实习介绍2.拷打第一个项目3.拷打第二个项目4.在向量化之前，为什么要对长文档进行切片？如果不切片会有什么后果？5.切片时设置重叠区域的作用是什么？这个比例你通常怎么来确定？6.讲一下稠密向量与稀疏向量的区别，分别适合处理什么样的搜索需求？7.向量库检索出的Top-K结果，如果K值设置得过大，对后续的生成质量有哪些负面影响？8.余弦相似度和欧氏距离在衡量文本相似性时，各自的优缺点是什么？9.为什么在初筛召回之后，还要加一个Rerank模型？它能解决向量搜索的哪些局限？10.如果文档发生了局部更新，如何通过增量索引来避免全量重新向量化？11.在RAG的生成阶段，如何在Prompt中设定边界条件来防止模型在没搜到内容时产生幻觉？12.了解HyDE吗？介绍一下原理，它在处理模糊提问时有哪些优势？13.随着超长上下文模型的出现，你认为传统RAG架构的必要性是否降低了？14.你了解哪些大模型推理框架？SGLang相比vLLM的PagedAttention在推理延迟上有哪些优势？15.调用大模型API时，为什么要使用asyncio异步编程？它在处理高并发请求时有何优势？16.针对大规模PDF解析这种任务，你选择多线程还是多进程？17.如何确保Agent返回的结果是标准的JSON格式？如果模型输出中有多余的说明文字，你在后端如何提取？18.场景题：对于RAG，如果检索到了针对同一故障的两份手册，内容相互冲突，请你设计一套逻辑，让模型能够识别冲突并优先选择时效性更高的信息？19.手撕：第k大元素

攒攒人品！有面试过同岗的朋友欢迎评论区交流1. 实习拷打2. 项目拷打3. RLHF中奖励模型（RM）的训练数据如何构建？4. 推理加速技术5. 模型剪枝/量化（GPTQ、AWQ）、服务化框架（FastAPI+vLLM）6. 如何优化大模型在长文本生成中的显存占用？7. 微调方法对比8. 设计一个ai爬取字节视频，如何设计？9. Transformer自注意力机制、位置编码、梯度消失/爆炸的解决方案10. 如何解决大模型API服务的响应延迟问题？