中科闻歌 大模型算法岗面经

#牛友提问，有问必答#

ai infra推理加速/推理框架方向找实习求捞，之前有一段大厂对口实习经历

1. 实习介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如PagedAttention）来解决KV Cache的内存问题，从而提升推理效率的？6. 我们有一个基础模型，但它不太会“听人话”。如果想把它训练成一个能很好遵循指令的聊天助手，通常有几步？能简单说说SFT（监督微调）和基于人类反馈的对齐（比如PPO/DPO）分别是在解决什么问题吗？7. 假设我们有一个效果很好的70B大模型，但因为太大太慢，没法直接上线。现在需要你把它“变小变快”。你会考虑用哪些方法（比如剪枝、量化）？各自有什么优缺点？8. 相比于让大模型直接回答问题，现在很流行的RAG（检索增强生成）方案，它最大的好处是什么？主要解决了什么痛点？9. 我们的RAG系统上线后，发现有时候还是会“胡说八道”，或者答非所问。如果让你去排查，你会从哪些方面入手？（比如是检索模块没找对，还是生成模块没理解好？）10. 核心代码模式算法题：二叉树的中序遍历11. 反问

有好兄弟收到汇丰科技的offer吗