腾讯实习 大模型算法 一面面经

给我面没招了。。。1. 项目拷打2. 详细阐述Transformer的底层原理，并说明其能够替代RNN的核心优势；结合Transformer架构的成熟度，分析Self-Attention机制在多模态对齐任务中是否存在瓶颈，以及在实际业务场景中，是否出现过注意力权重完全偏移的情况。3. 讲解LoRA的技术原理，说明LoRA是否仅能嵌入Linear层；分析LoRA无法在LayerNorm层之后插入的原因，以及该操作会对模型训练稳定性产生哪些具体影响。4. 结合实操经验，说明QLoRA降低训练资源成本的核心逻辑；列举常见的模型量化方式，并解释QLoRA选择NF4与FP16组合而非其他方案的原因，阐述NF4的分布拟合逻辑。5. 针对采用multi-query attention优化后，decoder延迟仍居高不下的问题，分析潜在性能瓶颈；探讨vLLM自带的KV Cache是否会成为推理过程中的负担。6. 分别说明Embedding模型与Rerank模型处理文本语料的核心流程，并结合实际应用场景举例说明。7. 结合过往RAG项目经验，讲解从数据清洗到检索服务上线的完整链路搭建流程，重点说明chunk切分的具体策略。8. 分析当前RAG技术落地的最大瓶颈，并阐述你在项目中采取过哪些优化手段来提升检索召回率（Recall）。9. 针对XX领域大模型的训练工作，说明SFT（监督微调）数据集的构造方法与核心思路。10. 结合LoRA微调实操经历，说明rank值的选择依据；在合并adapter权重的过程中，是否遇到过梯度爆炸问题，以及对应的解决方法。11. 结合你的模型部署相关经验，说明模型参数量与硬件算力需求之间的对应关系（例如不同参数量级模型所需的算力配置标准）；以部署一个稀疏率千分之三的235B参数量MOE架构模型为例，估算其所需的算力规模。12. 在搭建RAG知识库时，若需对文档进行动态更新，你采用的是全量嵌入还是增量处理方案？若为增量处理，如何规避新旧文档数据分布不一致导致的检索偏差问题。

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

感觉自己好菜、面试很难，还是要多多练习1.大模型相关经历深挖：你项目里最核心的贡献是什么，怎么验证有效2.对比学习 loss：负样本和正样本拉不开/太像了，你会怎么改损失或采样3.FlashAttention 跟普通 attention 的差异？实现里 QK^T、softmax、PV 这几步怎么落4.3D 并行里 DP/DDP你怎么理解；实际落地时通信瓶颈一般卡在哪些环节5.14B：FP16 权重大概多大；训练还要加哪些；INT8 大概能省多少6.torch.contiguous() 干嘛的？推理为什么在意连续性7.代码：读 txt 井字棋（3×3），判断当前玩家是否获胜8.交叉熵损失：解释/怎么写9.线性回归用 SGD：更新公式怎么推/怎么写

项目一：模型微调相关（面试问答总结） 首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问： 1. 指令遵循能力（未微调情况下的提升方式） 面试官提问： 如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？ 2. 训练数据来源与构造  训练数据是如何获取的？ 数据是如何构造和设计的？  3. Transformer 中的注意力机制  讲解 注意力机制（Attention Mechanism） 的基本原理。 为什么在计算注意力分数时需要 除以 ？ 为什么是 ，而不是 ？  4. LoRA（Low-Rank Ada...