智谱华章

给我面没招了，发点面经攒攒人品～1.项目介绍2.排序层三个模型介绍3.为什么只用了pointwise， listwise，没考虑加上pairwise吗4.损失函数用的什么5.分类为什么不能用MSE6.有看过DIN的论文吗7.DIN模型注意力机制怎么实现的8.有考虑先后位置关系吗9.如果序列很长怎么办，怎么让模型意识到最近的记录更重要10.有follow最新的模型吗11.auc介绍12.只用auc评估的坏处13.介绍transformer结构14.用的什么归一化，为什么用LN15.讲讲LN，BN16.transformer可以用BN吗17.BN代码里具体怎么操作的18.LN里有吗19.手撕 全排列

1. 场景题: 用户上传好几篇论文，AI能够精准总结并且能输出对比表格，怎么让Qwen具有这样的能力，全流程是什么？2. 微调的数据集哪里来的？数据怎么处理的？3. 会不会Linux4. 如何评估数据集的质量

发发面经攒攒人品项目深挖1. 训练参数设置&资源配置细节2. DPO训练loss的直观含义3. 为啥不直接SFT，非要搞DPO4. 负样本构造逻辑追问：长链路GUI下正负样本长度不一有啥影响？原因是啥？5. 为啥选GRPO？对比过其他算法吗？6. tool response需要loss mask吗？理由是啥？7. 训练任务中mcp构造数量+具体case8. 训了几版模型？印象最深的bad case是啥？八股问答1. 看过AUTOGLM论文吗？其他大模型论文呢？印象最深的点是啥？2. 给定模型层数+隐藏层维度，估算参数量级+解释计算逻辑3. 同参数同序列长度，计算kvcache大小手撕代码流式输入输出处理规则1. 被包裹的字符直接隐藏2. mcp调用只输出instruction里的内容

继续来分享下之前的面经~欢迎友好讨论，信息共享1.什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？2.什么是 Embedding？词嵌入和句嵌入有何不同？3.大语言模型中的 Tokenization 是如何工作的？不同模型的分词算法有何差异？4.简述大语言模型中的 Prompt Engineering 技巧，如何设计有效的提示词提升模型输出质量？5.对比 Zero-Shot、Few-Shot 和 In-Context Learning，它们在大语言模型中的应用场景和局限性分别是什么？6.什么是 LoRA？它在大语言模型微调中的优势和原理是什么？7.大语言模型的 RLHF 训练流程是什么？它存在哪些潜在风险？8.介绍一下大语言模型中的知识蒸馏，它如何用于压缩模型体积？9.DeepSeek 优化了哪些？为什么不用 PPO，而是用 GRPO？10.对比大语言模型的增量推理和传统推理方式，增量推理的优势和实现难点是什么？11.大语言模型在推理时出现幻觉现象的原因是什么？有哪些缓解方法？12.大语言模型的长文本处理能力有限，目前有哪些技术可以缓解这一问题？13.什么是大语言模型的上下文窗口？扩展上下文窗口对模型性能有何影响？14.目前多模态大语言模型是如何融合文本与图像信息的？15.如何评估大语言模型的性能？常见的评测指标和基准数据集有哪些？16.单个 LLM 能否帮助用户完成完整行程规划，比如从出行到酒店都订好票？