字节跳动 -ai数据处理 大模型应用实习面经

1. 自我介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如P...

🍓一面时长约50min，面试官很和蔼，体验感还不错。1．面试官先简单介绍了下团队，然后是自我介绍；2．拷打了一下项目和论文；3．为什么多头注意力能提升表达能力？4．为什么要在大模型中使用 RMSNorm ？和 LayerNorm 有什么差异？5.LoRA和 PromptTuning 有何区别，分别适用于什么场景？6．模型微调时遇到过过拟合吗？怎么处理的？7．大模型推理时的加速思路？8.KV Cache 是怎么起作用的？为什么对长上下文推理很关键？算法题手撕：字符串的全排列。二叉树序列化与反序列化。✅面试感受：整体提问节奏比较平稳，面试官很有亲和力，有的地方卡住了还会给提示。🍓二面时长约40min，主要是针对简历进行深挖。1．自我介绍。2．深挖项目，针对项目思路不断追问。3．大模型生成内容如何做去重过滤？4．如果词表特别大（10w+ token ), Softmax 加速通常有哪些实现？5．如果要在中文领域做 Instruction Tuning ，需要注意哪些数据问题？6．反问✅面试感受：二面的氛围和一面截然不同，面试官提问非常犀利，没有太多套路问题，并且对细节很关注。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

#大模型#2025年8月6日，我参加了深圳市人社局主办的现场招聘会，给多家企业投递了简历。南粤家政：去公司现场面试了2次。1、自我介绍2、聊简历上工作中做的项目和我参加Google Gemma大模型竞赛获奖经历3、技术问答注意：面试官最关注求职者能否给公司创造价值？面试官：家政行业大模型，如何给我们公司带来更多客户？如何从1000客户增长到10万客户？深圳市华睿信息技术有限公司：目前只电话面试了1次，不知道后续会怎样。主要是围绕我简历上工作中做的项目和竞赛获奖的经历在聊和提问。面试官提问：你讲一讲你怎么做的微调、知识图谱和智能体。我回答了：LoRA和QLoRA，bitsandbytes、量化、...

当时走的时候以为屋子里没人了没想到导师正在下面接东西拉闸关灯锁门一气呵成走的也挺快的，门还膈应听不懂呼叫导师也不知道谁锁的门我们离得挺远最后还是叫楼下的人来开的门