前言在准备大模型的面试时，我们需要对模型的基础理论、进阶应用、微调策略、以及特定技术如LangChain、参数高效微调（PEFT）等有深入的理解。这里给大家整理了一份详细的面试题，帮助大家提前进行面试复习，同时对自己的技术进行查漏补缺。一、大模型基础面试题目前主流的开源模型体系有哪些？prefix LM 和 causal LM 区别是什么？涌现能力是啥原因？大模型LLM的架构介绍？二、大模型进阶面试题llama 输入句子长度理论上可以无限长吗？什么是 LLMs 复读机问题？为什么会出现 LLMs 复读机问题？如何缓解 LLMs 复读机问题？LLMs 复读机问题llama 系列问题什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？各个专业领域是否需要各自的大模型来服务？如何让大模型处理更长的文本？三、大模型微调面试题如果想要在某个模型基础上做全参数微调，究竟需要多少显存？为什么SFT之后感觉LLM傻了?SFT 指令微调数据 如何构建?领域模型Continue PreTrain 数据选取？领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？进行SFT操作的时候，基座模型选用Chat还是Base?领域模型微调 指令&数据输入格式 要求？领域模型微调 领域评测集 构建？领域模型词表扩增是不是有必要的？如何训练自己的大模型？训练中文大模型有啥经验？指令微调的好处？预训练和微调哪个阶段注入知识的？想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？多轮对话任务如何微调模型？微调后的模型出现能力劣化，灾难性遗忘是怎么回事？微调模型需要多大显存？大模型LLM进行SFT操作的时候在学习什么？预训练和SFT操作有什么不同样本量规模增大，训练出现OOM错大模型LLM进行SFT 如何对样本进行优化？模型参数迭代实验四、大模型Langchain面试题什么是 LangChain?LangChain 包含哪些 核心概念？什么是 LangChain Agent?如何使用 LangChain ?LangChain 支持哪些功能?什么是 LangChain model?LangChain 包含哪些特点?LangChain 如何使用?LangChain 存在哪些问题及方法方案？LangChain 替代方案？LangChain 中 Components and Chains 是什么？LangChain 中 Prompt Templates and Values 是什么？LangChain 中 Example Selectors 是什么？LangChain 中 Output Parsers 是什么？LangChain 中 Indexes and Retrievers 是什么？LangChain 中 Chat Message History 是什么？LangChain 中 Agents and Toolkits 是什么？LangChain 如何调用 LLMs 生成回复？LangChain 如何修改 提示模板？LangChain 如何链接多个组件处理一个特定的下游任务？LangChain 如何Embedding & vector store？五、大模型参数高效微调(PEFT) 面试题什么是 LoRA？LoRA 的思路是什么？LoRA 的特点是什么？QLoRA 的思路是怎么样的？QLoRA 的特点是什么？AdaLoRA 的思路是怎么样的？LoRA权重是否可以合入原模型？ChatGLM-6B LoRA后的权重多大？LoRA 微调优点是什么？LoRA微调方法为啥能加速训练？如何在已有LoRA模型上继续训练？为什么需要 提示学习（Prompting）？什么是 提示学习（Prompting）？提示学习（Prompting） 有什么优点？提示学习（Prompting）有哪些方法，能不能稍微介绍一下它们间？为什么需要 P-tuning v2？为什么需要 P-tuning？为什么需要 指示微调（Prompt-tuning）？指示微调（Prompt-tuning）与 Prefix-tuning 区别 是什么？指示微调（Prompt-tuning）与 fine-tuning 区别 是什么？为什么需要 前缀微调（Prefix-tuning）？为什么 需要 适配器微调（Adapter-tuning）？微调方法是啥？如何微调？为什么需要 PEFT？介绍一下 PEFT？PEFT 有什么优点？微调方法批处理大小模式GPU显存速度？Peft 和 全量微调区别？多种不同的高效微调方法对比PEFT 存在问题？能不能总结一下各种参数高效微调方法？六、大模型推理面试题为什么大模型推理时显存涨的那么多还一直占着？大模型在gpu和cpu上推理速度如何？推理速度上，int8和fp16比起来怎么样？大模型有推理能力吗？大模型生成时的参数怎么设置？有哪些省内存的大语言模型训练/微调/推理方法？如何让大模型输出合规化应用模式变更七、大模型评测面试题大模型怎么评测？大模型的honest原则是如何实现的？模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力？八、大模型强化学习面试题奖励模型需要和基础模型一致吗？RLHF 在实践过程中存在哪些不足？如何解决 人工产生的偏好数据集成本较高，很难量产问题？如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？如何解决 PPO 的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高 问题？九、大模型训练集面试题SFT（有监督微调）的数据集格式？RM（奖励模型）的数据格式？PPO（强化学习）的数据格式？找数据集哪里找？微调需要多少条数据？有哪些大模型的训练集？进行领域大模型预训练应用哪些数据集比较好？十、大模型Agent 面试题如何给LLM注入领域知识？如果想要快速体验各种模型，该怎么办？十一、Token及模型参数准备篇预训练数据 Token 重复 是否影响 模型性能？SFT需要训练Token数？十二、大模型位置编码篇什么是 长度外推问题？长度外推问题 的 解决方法 有哪些？旋转位置编码 RoPE 思路是什么？推导一下 旋转位置编码 RoPE ？旋转位置编码 RoPE 有什么优点？旋转位置编码 RoPE 被哪些 LLMs 应用？什么是位置编码？什么是绝对位置编码？什么是相对位置编码？十三、大模型 Tokenizer 篇Byte-Pair Encoding(BPE) 如何构建词典？WordPiece 与 BPE 异同点是什么？简单介绍一下 SentencePiece 思路？举例 介绍一下 不同 大模型LLMs 的分词方式？介绍一下 不同 大模型LLMs 的分词方式 的区别？十四、Layer Normalization 篇LLMs 各模型分别用了 哪种 Layer normalization？LN 在 LLMs 中的不同位置 有什么区别么？如果有，能介绍一下区别么？Deep Norm 有什么优点？Layer Norm 的计算公式写一下？RMS Norm 的计算公式写一下？RMS Norm 相比于 Layer Norm 有什么特点？Deep Norm 思路？写一下 Deep Norm 代码实现？十五、大模型激活函数篇介绍一下 FFN 块 计算公式？介绍一下 GeLU 计算公式？介绍一下 Swish 计算公式？介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？介绍一下 使用 GeLU 的 GLU 块 计算公式？介绍一下 使用 Swish 的 GLU 块 计算公式？各LLMs 都使用哪种激活函数？