大厂大模型算法岗推理类面试题总结

发点面经攒攒人品1、你在线上或离线训练时，过拟合怎么处理？直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失？你更偏好哪几个，为什么（从鲁棒性、梯度、数值稳定性上谈）。4、L1 和 L2 正则你怎么选？它们各自的效果与风险是什么，工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写？在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么？你怎么计算它，在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时，ESMM/ESMM2 是怎么推导与工程落地的？线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来？Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk？如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。11、位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。12、长上下文怎么搞？Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力，你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么？它的加速价值有多大，吞吐与延迟你是如何权衡的，vLLM/paged‑attention 需要注意什么。14、PEFT 方案里（LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter）你怎么选？说说稳定训练的经验。15、SFT 和对齐（RLHF/DPO/IPO/PPO）原理差在哪？在不同数据与资源条件下，你怎么选路线。16、RAG 系统你怎么设计？切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的？System/角色/约束/分步指令怎么写，如何防越狱

自我介绍 用了哪些方法使FCP渲染耗时缩短近1s 有没有遇到过哪个包不支持ESM的，你是怎么处理的 你进行代码分割的思路是什么 不定高的虚拟列表的实现原理是什么NextJS有哪些渲染模式，分别介绍一下你们的应用用的是哪种 NextJS中有一个内置的图片优化组件，它做了哪些优化 让你优化图片显示你怎么优化webp格式的图片有兼容性问题吗，怎么做降级处理 AI问答应用有出现页面抖动的情况吗，你是怎么处理的应用用的什么markdown库 AI问答应用有出现返回中断导致的markdown显示错误吗，是怎么处理的浏览器插件有哪些组成部分各个部分怎么进行通信插件的sidePanelAI应用的思考模式是怎么...

前些天看了 Clawdbot 创始人的采访——这哥们单日提交 1.3k commits，一个月 6600+ 次提交，有的代码自己一句都没看过，非常恐怖。所以在不久的将来，当 AI 已经完全具备写代码的能力，人类程序员的操作空间还能剩多少？最近在实习，做大模型微调，新鲜期过了，发现不过是机械劳动，造数据 → 训模型 → 看 badcase → 然后再造数据，循环往复...这不就是Agent的ReAct范式么? (坏了，我成智能体了) 需求明确的情况下，Claude-3.5/3.6 也完全可以独立完成造数据 pipeline 的开发，偶尔会留下一些语法错误，在两三轮尝试之内也能自己修正过来......这里非要人来完成的环节并不多，只能用人来完成的理由，好像只剩人比较便宜了...？ 但 AI infra、推理加速也在飞速发展，这种相对的便宜，又能持续多久呢？Clawdbot已经火到到处都在讨论，尽管目前在国内的适配有限，(门槛高是一方面，还很重要的一点是比较烧钱...)不过它对人类劳动力的节省是没办法忽视的。目前同事们普遍认为这玩意儿现在只能接入飞书写写文档，但你也知道，“目前”而已。GPT-4 推出的那年或许看上去还有点呆，但短短几年，拥有 skills 和 function call 的大模型已经可以帮你完成打开应用、查看消息、撰写文档这种复合任务——写代码又能比写飞书文档复杂多少呢？不过是接入不同的软件，阅读不同的文本，调用不同的修改命令，底层是一样的，现在 Copilot 已经做得有模有样，更别说 Clawdbot 这种具有自我进化能力的 Agent，只要 token 多，Clawdbot 完全可以给自己装一堆功能，能量超乎你想象。有人说了，我做的项目大着呢，全是屎山代码，我不信 AI 能看完，这说的其实是长上下文问题，我个人不认为是一个无法解决的问题，随着上下文窗口的扩展和长期记忆管理的研究工作不断发展，AI 总能找到方法把你的超长文本压缩成一个一个的小块，然后逐个击破（虽然目前 GPT-5.2 Codex 改我的代码还是会改着改着一片红...）有句话说得好，你怕被 AI 替代，是因为你太像 AI。你的工作流程高度标准化、可预测、可复现——接需求、看文档、查 API、写代码、测试、提交。每一步都有明确的输入输出，每一步都能被拆解成清晰的指令。这种工作方式，恰好是 AI 最擅长的。如果你的价值体现在“把业务逻辑翻译成代码”，那 AI 确实可以做得更快、更稳定、更便宜。它不会写错大小写，不会忘记边界条件，不会因为昨晚没睡好就漏掉一个判断。要想不被替代，就得做那些 AI 做不了的事，比如和产品经理撕逼，解释为什么这个需求做不了；看着三个技术方案，权衡性能、成本、开发周期，最后拍板选一个；跨部门开会，听运营讲了半天业务痛点，翻译成技术语言，还得判断她说的是真需求还是伪需求。这些事情需要判断、需要博弈、需要对人的理解， AI 暂时还做不来。但问题是，这些事情需要多少人来干？以前一个项目可能需要十个程序员，现在有了 AI，也许三个人就够了,剩下那七个人上哪去？......也许他们会转型，在行业找到新位置，也许是去卖炒粉了，说不好。但有一点感觉很明显：AI 在拉高门槛。以前你会写代码就能找到工作，现在得会“用 AI 写代码 + 理解业务 + 做技术决策”。这个组合技能，不是每个人都能凑齐的。工具会进化，但人怎么不被工具定义，可能是我们未来一段时间需要长期思考的问题。

1. 自我介绍2. 说一下 new 和 malloc 的底层实现原理答案：malloc 是 C 里的内存分配函数，本质上就是向运行时分配器申请一块指定大小的原始内存，返回的是 void*，它只负责分配内存，不会调用构造函数。底层分配器一般会维护空闲链表、内存池之类的数据结构，再通过 brk 或 mmap 向操作系统要内存。new 是 C++ 的运算符，它通常分两步：先调用 operator new 分配原始内存，再在这块内存上调用构造函数完成对象初始化。如果构造函数抛异常，C++ 还会负责把前面申请到的内存回收。所以严格来说，new 和 malloc 最大的区别不是“一个是运算符一个是函数”这...