新石器 算法实习面经 攒人品

1. 项目和八股介绍一下你做的这个项目为什么没有用 nsp，只用了 mlm分析一下transformer训练过程中显存占用和计算复杂度- 优化器 参数 梯度- 面试官说到：激活值也需要保存  训练过程中怎么去做到对激活值的显存占用，有什么参数可以进行控制 （答了混合精度，面试官说不对- 激活显存 ≈ `batch_size × seq_len × hidden_dim × n_layers × bytes_per_element`- 设置bs相关，也就是使用梯度检查点（Gradient Checkpointing），将大的bs分割成小的micro-bs来计算，最后进行一个统一PPO DPO GRPOclip可以限制分布差异  还有哪些方法KL 散度公式2. 手撕给定两个叶子节点，在二叉树中找到两个节点的最近公共祖先，空间复杂度要求o(1)。每个节点存在指向父节点指针

1.拷打论文2.transformer和llama的LN有什么区别，手写RMSNorm3.FFN有什么不同，写Relu和SwiGLU4.数据清洗流程5.质量过滤用什么模型6.PPL公式是什么7.BERT的预训练任务、embedding8.讲讲位置编码9.你认为好的prompt的范式是什么10.开放性问题:端到端的大模型和多个小模型，各自的优缺点是什么11.手撕:两道

项目经历20分钟1、MySQL如果发现查询速度慢可能是什么情况2、发现查询慢之后应该怎么做3、消息队列了解吗4、限流算法讲一下5、线程池用过吗，讲一下核心参数6、如何调优线程池的参数7、什么情况下会影响线程安全笔试：完全二叉树最右子节点

1.介绍部门业务2.全程拷打实习，简历上每一个点一步一步的问问的很深(涉及到的八股 Redis持久化 分布式锁 延迟队列 消息队列)3.写题:策略模式4.反问环节