联想小组面试

八股 1.bf16 和 float16 的区别？各占多少位？训练中如何选择？2.DeepSpeed Zero 各阶段分别做了哪些优化？3.如何估算 LLaMA-7B 模型推理时的显存占用？4.Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？例如： RoPE 外推、MoE6.PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.未来希望专注大模型哪个方向？例如：对齐 / 推理加速 / 长上下文手撕：K 个一组翻转链表（LeetCode 25）

1．问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．平常训练或者微调 LLM 或者VLM，有什么感受6. 专家划分子空间是区分不同任务但有时候并不能取得理想的效果这是为什么7. 概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率8. 场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延

1.拷打论文2.transformer和llama的LN有什么区别，手写RMSNorm3.FFN有什么不同，写Relu和SwiGLU4.数据清洗流程5.质量过滤用什么模型6.PPL公式是什么7.BERT的预训练任务、embedding8.讲讲位置编码9.你认为好的prompt的范式是什么10.开放性问题:端到端的大模型和多个小模型，各自的优缺点是什么11.手撕:两道

1.自我介绍及项目经历2.如何增强模型的多轮对话能力？3.介绍MoE （混合专家）架构核心优势。4.阐述大模型训练与推理的完整流程。5. 对比 LORA 微调 Qwen 模型两种微调方式的性能表现。6.FlashAttention v1 和 v2 的主要改进点分别是什么？7.CoT（Chain-of-Thought）训练数据是如何构造的？8.当前主流的强化学习算法有哪些？9.代码：LeetCode 22，实现“括号生成”问题。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。大模型  人工智能就业 #校