面试手搓深度模型加梯度回传不用框架

1.介绍一下transformer架构，它解决了rnn和cnn哪些无法解决的问题？2.怎么理解词与词之间距离的概念？为什么大模型需要知道这个距离？3.transformer的核心机制是什么？能不能用一个具体的例子串一遍里面所有概念？4.你提到的QKV能不能具体讲一下？它的核心作用是什么？5.模型层叠加之后会出现什么问题？我们要引入什么机制去解决这个问题？6.传统的残差机制会有什么问题？现在业界有没有提出一些新的解决方案？7.现在业界有很多先进的大模型，有些是7b，有些是325b，这个b的概念是什么？我们在做模型选择的时候怎么选？8.对于不同的细分领域，能不能讲一下你对现有的模型厂商他们参数量选型的了解？9.现在给你一个场景，比如说我们做ai coding，你会怎么去选择参数量？10.对话型模型和推理型模型之间的区别是什么？分别适用于什么样的场景？11.简要的介绍一下engine、sub engine、skill、mcp这几个概念，他们的用途是什么？在代码开发过程中分别用来解决什么问题？12.在开发过程中，多轮迭代会话后工程越来越难以维护，你有没有什么好的建议？13.对于上下文工程的最佳实践，常用到的一些技术或者解决方案都有哪些？14.目前这个体系还很复杂，有没有现成的东西来辅助我？有没有了解现在开源社区很火的一些解决方案？15.聊一下实习期间你遇到最困难的一件事，这件事你是怎么解决的？得到了一个什么样的效果或结果？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1. 自我介绍2. 说说你简历上这俩项目3. 多头注意力真正发挥作用的关键，不是“头变多了”而是什么多头注意力的核心不是把一个注意力拆成几份，而是把表示空间分成多个子空间，让不同 head 在不同投影下学习不同相关性模式。有的 head 偏局部词法关系，有的偏远距离依赖，有的偏结构性边界，有的偏位置模式。如果只是单头，模型只能在一个统一度量空间里做相关性匹配，表达会更受限。真正让多头有效的，不是“并行”两个字，而是不同头通过不同参数矩阵形成了多视角关系建模。头数继续增大并不一定更好，因为维度被切得过细后，每个头的表达能力又会下降，所以它本质上是容量分配问题，不是机械堆头数的问题。4. 为什么推...

面试很难，还是要多多练习1. 实习介绍2. 拷打25min项目细节3. grpo相对ppo的改进4. 拷打10min+第一篇论文细节5. 介绍一下你最近看过的一篇技术报告6. 介绍一下agent loop7. 介绍一下claude skill的xxx8. 论文拷打9. RL完遇到幻觉你的解决方案10. 什么是蒙特卡洛采样，并讲一下具体应用11. 手写梯度下降求二次函数最小值

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...