字节大模型算法实习一面面经

给我面没招了，发点面经攒攒人品～1.LLM 常用的结构是什么？2.说一下 Transformer 的整体结构3.目前主流大模型最常用的位置编码是什么？4.［代码题］写一下多头注意力机制的数学公式A代码／算法实现题，需现场手写5. 公式中为什么要除以√ d _ k ？其对梯度消失或梯度爆炸有什么影响？6. 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？7. 除了 LoRA ，你还了解哪些微调方法？8. 大模型训练通常使用什么损失函数9. 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？10. 你了解哪些优化算法11. 模型训练中出现过拟合的常用解决方案有哪些？12. Dropout 在训练阶段和预测阶段的处理方式是否一致？为什么要这样做？13. 大模型中的"复读机问题"重复生成是什么原因导致的？如何从解码策略或训练层面解决？14. 幻觉问题产生的原因是什么？目前常用的工程解决方案有哪些？

1.自我介绍2.手撕 lru（多了一个x秒自动过期）3.刚刚的代码哪些部分在并发环境下会线程不安全，如何解决4.拷打项目5.有没有大模型微调相关经验6.Redis为什么比其他数据库快，为什么加载到内存会比硬盘快7.刚刚提到了上下文切换，什么是上下文切换，具体是干什么的8.Redis除了分布式锁还能做什么9.Redission看门狗机制10.如何使用ai coding的11.如何学习新技术12.反问lru写的太慢了没完全写完，面试官让讲了一下思路就给过了。但是线程不安全这一块回答的有点磕绊。当天晚上约二面。

感觉面完人都通透了，还是太菜了，下去沉淀一下1.项目拷打2.讲一下Qwen架构3.层归一化和RMS归一化的区别4.lora 是怎么节省显存的5.然后当场给了个场景，让我分别计算了一下全参和lora分别占多少显存6.讲一下RAG7.自注意力公式，为什么除根号dk8.线性回归的损失函数是什么？逻辑回归的损失函数是什么？9.逻辑回归损失函数为什么不能是MSE10.softmax不同类别样本数量极不平衡时怎么办？11.手撕了一个二分查找的题

如果面试官问起 OpenClaw 或类似的轻量级、高执行力架构，你可以从以下几个维度把话题拉高：1. 架构核心：从“对话框”转向“任务队列”OpenClaw 的设计哲学核心在于：任务不是对话，而是 Job。面试表达： 很多 Agent 框架是基于 Chat 逻辑写的，一旦网络波动或模型抽风，任务就断了。OpenClaw 这种架构更像是一个 分布式任务调度系统。设计亮点： 它将 Agent 的行动原子化，并存入任务队列。这意味着即便 Agent 的“大脑”宕机，当前的执行状态、已获取的工具数据也是持久化的。2. 核心组件：感知、决策与执行的分离它的设计通常包含三个明确的层级，这在面试中是绝佳的架...