大模型应用面经，已归类！

1.八股：请分别说说你对 DeepSeek-V3 和 DeepSeek-R1 的理解，它们在架构或训练策略上有何关键差异？2.八股：Qwen系列基座模型的结构是怎样的？它的 Attention 和 FFN 层是如何设计的？3.八股：训练一个 8B 参数的大模型，大概需要多少显存？如果显存不够，你会用哪些技术缓解？4.项目：你们在 RAG 应用中是如何做效果评估的？具体用了哪些指标？5.项目：如果 RAG 系统输出错误答案，你怎么判断是检索模块的问题，还是生成模块的问题？有没有设计过归因实验？6.项目：你们是否专门训练了用于 RAG 场景的生成模型？它和通用基座模型在评估维度上有什么不同？7.项目：在 SFT 阶段，你们如何设计不同来源数据（如通用指令、垂域问答、CoT 数据）的配比？依据是什么？8.项目：针对垂域场景，模型效果如何评估？除了人工评测，有没有尝试自动化或半自动的评估方案？9.代码题：LeetCode 72 编辑距离

1、介绍自己的中厂实习2、一面的部分实习问题这里也问了。3、有没有试过外挂数据库来解决线上业务数据分布更新较快的问题，4、模型选型问题，为什么选qwen3-8b，如何估算模型开销。5、最多做过几卡的模型训练?对deepspeed和Megatron有多少了解?6、接触过哪些推理加速的方法。(vllm的page-attention, kv cache, prefix cachemla，flash-attention直接安排一套)7、一个他们组里面的一个具体场景题。8、手撕k个一组反转链表，并要求最后不足k个的也反转。

1.面试官先简单介绍团队，然后进行自我介绍；2.对项目和论文进行了细致询问；3.为什么多头注意力能提升表达能力？4.大模型中使用RMSNorm的原因？它和LayerNorm有何差异？5.LoRA和PromptTuning的区别，以及各自适用的场景？6.模型微调时是否遇到过过拟合？如何处理的？7.大模型推理时的加速思路？8.KV Cache是如何起作用的？为什么对长上下文推理很关键？算法题手撕：字符串的全排列。二叉树序列化与反序列化。

1.八股：Transformer底层原理，为啥能替代RNN2.八股：大模型预测token的损失是怎么算的？有哪几种常见的损失函数？3.项目：看你做过RAG，讲讲从数据清洗到检索服务上线这整个链路是怎么搭的，怎么做chunk切分的4.项目：你觉得当前RAG的最大瓶颈在哪？你做过哪些改进来提升Recall5.项目：传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景6.项目：RAG中知识库搭建，对知识库的文件文档进行动态增量更新，怎么来避免新旧文档的文单的分布不一致导致的这种检索偏差问题7.项目：RAG怎么评估，RAG评估体系中最重要的是什么8.项目：常见的量化方式有哪些，QLoRA为什么选的是NF4和FP16这组组合，而不是别的组合？你能说说NF4的分布拟合逻辑吗9.项目：模型部署相关，说下模型部署的参数量和需求硬件之间的关系10.项目：部署一个MOE架构的千分三的235b的一个模型，他所需要的算力大概是多少？11.代码题：lc54. 螺旋矩阵