1.项目经历2.如何增强模型的多轮对话能力？3.介绍MoE （混合专家）架构核心优势。4.阐述大模型训练与推理的完整流程。5. 对比 LORA 微调 Qwen 模型两种微调方式的性能表现。6.FlashAttention v1 和 v2 的主要改进点分别是什么？7.CoT（Chain-of-Thought）训练数据是如何构造的？8.当前主流的强化学习算法有哪些？9.代码：LeetCode 22，实现“括号生成”问题。

1.实习介绍2.问项目3.GRPO,DPO,PPO区别4.LORA的秩一般是如何选取的5.小米训练用的什么框架6.LORA微调的原理7.LORA为什么可以实现少量的参数完成全量微调的效果8.手撕有效的IP地址9.反问，组里做到餐的LLM生成餐，toC和toB

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？它又是怎么实现的？6. 现在主流的大模型，像GPT系列，大多都用的是Decoder-only架构。为什么不采用像T5那样的Encoder-Decoder架构呢？7. LoRA作为一种高效的微调方法，它的核心原理是什么？能讲讲吗？8. 为了优化推理速度，KV Cache是一个很关键的技术。它的原理是什么？9. 我们来聊聊你的项目经历吧。可以挑一个你觉得最有意思的实习、论文或者科研项目详细讲讲。10. 来个场景题吧。假设我们是做电商的，你觉得可以怎么用大语言模型来解决我们的一些实际业务问题？11. 最后来做两道算法题吧。第一道是“无重复字符的最长子串”，第二道是“排序链表”

一、基础理论与模型结构1.Transformer架构a.解释Self-Attention机制的计算过程，并推导时间复杂度。b.为什么Transformer使用多头注意力(Multi-Head Attention)?c.位置编码(Positional Encoding)有哪些实现方式?对比绝对位置编码和相对位置编码(如ROPE)2.模型演进a.GPT系列模型(GPT-1/2/3/4)的核心改进点是什么?b.LLaMA系列模型的设计特点(如RMSNorm、SwiGLU激活函数)?c.对比Decoder-only(如GPT)和Encoder-Decoder(如T5)架构的优缺点。3. Scaling Lawsa.大模型的缩放法则(Scaling Laws)是什么?如何指导模型训练?b.模型参数、数据量、计算量之间的关系(Chinchilla定律)?二、训练与优化1.分布式训练a.解释数据并行、模型并行、流水线并行的区别与应用场景。b.ZeRO优化(如ZeRO-2/3)如何减少显存占用?c.混合精度训练的原理是什么?为什么需要Loss Scaling?2.微调方法a.全参数微调(Full Fine-tuning)与高效微调(如LoRA、Adapter)的对比。b.解释LORA(Low-Rank Adaptation)的原理和优势。c.指令微调(Instruction Tuning)与RLHF的区别是什么?3.显存与计算优化a. Flash Attention的原理及其对训练速度的影响?b.梯度检查点(Gradient Checkpointing)如何权衡显存与计算时间?c.大模型训练中常见的显存瓶颈及解决方法(如激活显存优化)?三、推理与部署1.推理加速a.解释KV Cache的原理及其对推理速度的影响。b.连续批处理(Continuous Batching)如何提高GPU利用率?c.对比vLLM、TGl、FasterTransformer的适用场景。2.量化与压缩a.GPTQ和AWQ量化方法的区别?b.如何量化模型的同时最小化精度损失?c.解释GGUF格式的特点及其在llama.cpp中的应用。3.延迟与吞吐优化a.如何通过动态批处理(Dynamic Batching)优化推理吞吐?b.大模型推理中的显存碎片问题如何解决?c.端侧部署(如手机、浏览器)的关键技术(如WebGPU、MLC-LLM)?四、应用与评估1.RAG(检索增强生成)a.如何设计一个基于向量数据库的RAG系统?b.检索器(Retriever)与生成器:(Generator)的联合优化方法?c.评估RAG系统的核心指标有哪些(如Hit Rate、MRR)?2.Agent设计a.如何用ReAct框架实现LLM的推理与工具调用?b.解决Agent任务中的长程依赖和幻觉问题的方法?c.多Agent协作(如AutoGen)的关键技术?3.模型评估a.如何评估大模型的事实准确性(如TruthfulQA)?b.大模型的伦理风险(如偏见、隐私泄露)如何检测和缓解?c.对比MMLU、C-Eval、AGIEval等评测基准的侧重点。五、开放性问题1.场景设计a.如何设计一个支持百万级用户并发的智能客服系统?b.若想用LLM处理金融数据分析，需要考虑哪些技术点?2.性能调优a.给定一个显存不足的GPU服务器，如何部署70B参数的模型?b.如何降低API调用LLM的成本(如缓存、模型蒸馏)3.前沿技术a.解释MoE(Mixture of Experts)架构的优势与挑战(如Mixtral-8x7B)Ob.对比DPO(Direct Preference Optimization)与PPO在RLHF中的差异。c.多模态大模型(如GPT-4V、Gemini)的核心技术难点是什么?六、代码实战题1.手写Attentiona.用PyTorch实现一个简化版的Self-Attention层。b.优化Attention计算(如Flash Attention伪代码)2.模型微调a.使用Hugging Face库实现LoRA微调LLaMA-7B.b.用LangChain构建一个检索增强的问答管道。3.性能分析a.分析一段模型训练代码的显存占用瓶颈并提出优化方案。b.实现一个简单的KV Cache机制。

1.Transformer 中为什么要用多头注意力？单头注意力有什么局限性？2.Transformer的并行化讲一讲；为什么要除根号dk3.LoRA 和全参数微调相比，在推荐场景下各自的优缺点是什么？4.为什么在推荐系统中引入 RAG？知识库的数据来源和构建流程是怎样的？5.嵌入模型为什么选 BGE？FAISS 索引是如何构建的？6.RAG 的 chunk 划分策略是什么？7.什么场景需要GraphRAG，它的好处是什么？8.项目中用了LangGraph实现多工具调用链路，相比纯Prompt 有什么优势？9.当输入超过模型上下文长度时，有哪些主流解决方案？（如滑动窗口、压缩、摘要）10.手撕：合并区间（LeetCode 56）

1.拷打论文2.transformer和llama的LN有什么区别，手写RMSNorm3.FFN有什么不同，写Relu和SwiGLU4.数据清洗流程5.质量过滤用什么模型6.PPL公式是什么7.BERT的预训练任务、embedding8.讲讲位置编码9.你认为好的prompt的范式是什么10.开放性问题:端到端的大模型和多个小模型，各自的优缺点是什么11.手撕:两道

八股 1.bf16 和 float16 的区别？各占多少位？训练中如何选择？2.DeepSpeed Zero 各阶段分别做了哪些优化？3.如何估算 LLaMA-7B 模型推理时的显存占用？4.Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？例如： RoPE 外推、MoE6.PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.未来希望专注大模型哪个方向？例如：对齐 / 推理加速 / 长上下文手撕：K 个一组翻转链表（LeetCode 25）

1.项目拷打为主2.中英文自我介绍3.Sft用了什么方法，如何判断sft效果已经达标了4.从loss上观察是什么样的5.调参是怎么调的，有什么依据6.Lora有哪些参数可以调7.数据标注是怎么标的8.模型输入输出是什么，评价指标是什么9.AIGC项目中的反思模块怎么做的10.全模态的意图识别怎么做的11.涉及到的计算资源规模大概有多少12.全流程耗时指标13.Python元组和列表的区别和相同点14.列表、元组是否可变15.多线程和多进程16.深拷贝和浅拷贝区别17.了解哪些模型的量化方法和加速方法18.编程中常见的设计模式有哪些19.编程题1：把第二个数组合并到第一个数组，使之有序（第一个数组已在后面添加足量的0，需要原地修改第一个数组）20.编程题2：找到一个数组中第n大的数

1、介绍自己的中厂实习2、一面的部分实习问题这里也问了。3、有没有试过外挂数据库来解决线上业务数据分布更新较快的问题，4、模型选型问题，为什么选qwen3-8b，如何估算模型开销。5、最多做过几卡的模型训练?对deepspeed和Megatron有多少了解?6、接触过哪些推理加速的方法。(vllm的page-attention, kv cache, prefix cachemla，flash-attention直接安排一套)7、一个他们组里面的一个具体场景题。8、手撕k个一组反转链表，并要求最后不足k个的也反转。

1.项目介绍2.为什么要做DCN，DCN具体怎么做的，V2和v1有什么区别，他俩的时间复杂度和参数复杂度3.logloss剧烈下降的时候有什么办法？4.项目提到频次过滤，为什么要这样做？5.AUC相关（AUC原理，以及计算方式，均匀采样一定数量的负样本后AUC变化）反问：业务 个人在入职前能的事？

先做道题吧：二叉树z字层序遍历1，实习项目a具体工作内容是什么（涉及到RL感觉有点难讲清，大家接触RL不多导致我有点说不明白，后面得优化一下表述），为什么要自己设计一个排序模块？排序模块这部分怎么做的。2，实习项目b的动机？后面结果貌似可以预见，为什么还要这样做？3，实习项目c的出发点，为什么做这样的多目标，感觉任务上关系不大，有优化吗？保序回归分桶怎么做的？这个分桶的区间和数目感觉可以再试试讨论。主要承担的工作在哪部分？4，来问点基础知识吧1.AUC2.优化器了解吗（说了下sgd和adam）3.激活函数了解吗（说了下sigmoid和relu）4.mse和mae5.bn和ln反问

1.Reward Function的设计2. PPO Advantage Function3.PPO/GRPO4.全参微调 /LORA5.DeepSeek V3训练流程6.CVR样本稀疏解决方法7.偏置特征处理方法8.生成式推荐和常规推荐的区别 以及核心收益点9.RQ-KMeans/RQ VAE 区别

1.八股：RoPE 为什么能实现相对位置编码？它相比传统绝对位置编码在长文本推理中有什么优势？2.八股：LoRA 的 A、B 矩阵通常如何初始化？为什么 B 矩阵要初始化为全零？反过来会有什么问题？3.八股：在参数高效微调中，为什么优先微调 Attention 层的 Q/K/V/O，而不是 FFN 层？4.项目：RAG 的整体流程是怎样的？哪些环节最容易成为性能瓶颈？5.项目：RAG 中常见的中间文档丢失中间丢失现象如何缓解？6.项目：GraphRAG 系统整体流程是怎样的？从用户提问到最终生成答案，哪些模块是你独立负责的？7.项目：GraphRAG 相比传统 RAG 的核心优势？8.项目：GraphRAG 怎么保证召回准确率？9.项目：数据集中如果有噪声的话, 会导致幻觉, 这里怎么处理的?10.代码题：编辑距离（LeetCode 72）

1.项目介绍2.讲一下实习工作3.使用的数据集4.使用了多少张卡？SFT 训练多久？5.增加了串行流程后为什么还能提速？6.讲一下对多模态大模型发展的看法7.讲一下什么场景下用 SFT，什么场景下用 RL8.SFT 的数据集是越大越好吗？会存在 scaling law 吗？9.为什么使用强化学习会存在训练不稳定问题？为什么业界还在用？反问为推荐生成数据，业务驱动，也可以做研究组内几百张 GPU，资源充足