与字节的第四次战斗能赢吗

1.双方自我介绍2.围绕项目提问，这里记一下通用问题项目开展的流程，你在其中负责哪些？用的什么推理框架？FP8 KV Cache是怎么设置的？FP8量化在prefill阶段有多少性能收益？profile用的什么工具，怎么定位性能瓶颈？还有些想不起来了，回忆起来再补充。3.开放性提问你对GPU微架构和cuda了解吗？在sm没用满的情况增加矩阵乘法的大小，为什么延时会增长？除了compute/memory bound还有哪些类型的bound，怎么定位？4.代码题岛屿数量，模版题，但是写的很艰难。面试官帮我减掉了输入处理和队列的初始化，最后写完还有点小毛病5.反问环节问了下他们部分具体是什么方向的推理优化。视频/图片生成类模型重要吗

之前往字节投了大模型应用相关的岗位，但被HR调剂到后端开发（AIDP）了，之前一直做的AI，简历项目也都是RAG，Agent相关的，没接触过后端开发（计算机网络，OS，数据库啥的都学过，但是没啥开发经验），想问一下后端佬们，还有两天时间准备面试，这两天该突击些啥，学到啥程度才算可以。

感觉自己好菜、面试很难，还是要多多练习1.大模型相关经历深挖：你项目里最核心的贡献是什么，怎么验证有效2.对比学习 loss：负样本和正样本拉不开/太像了，你会怎么改损失或采样3.FlashAttention 跟普通 attention 的差异？实现里 QK^T、softmax、PV 这几步怎么落4.3D 并行里 DP/DDP你怎么理解；实际落地时通信瓶颈一般卡在哪些环节5.14B：FP16 权重大概多大；训练还要加哪些；INT8 大概能省多少6.torch.contiguous() 干嘛的？推理为什么在意连续性7.代码：读 txt 井字棋（3×3），判断当前玩家是否获胜8.交叉熵损失：解释/怎么写9.线性回归用 SGD：更新公式怎么推/怎么写

给我面没招了。。。1. 项目拷打2. 详细阐述Transformer的底层原理，并说明其能够替代RNN的核心优势；结合Transformer架构的成熟度，分析Self-Attention机制在多模态对齐任务中是否存在瓶颈，以及在实际业务场景中，是否出现过注意力权重完全偏移的情况。3. 讲解LoRA的技术原理，说明LoRA是否仅能嵌入Linear层；分析LoRA无法在LayerNorm层之后插入的原因，以及该操作会对模型训练稳定性产生哪些具体影响。4. 结合实操经验，说明QLoRA降低训练资源成本的核心逻辑；列举常见的模型量化方式，并解释QLoRA选择NF4与FP16组合而非其他方案的原因，阐述NF4的分布拟合逻辑。5. 针对采用multi-query attention优化后，decoder延迟仍居高不下的问题，分析潜在性能瓶颈；探讨vLLM自带的KV Cache是否会成为推理过程中的负担。6. 分别说明Embedding模型与Rerank模型处理文本语料的核心流程，并结合实际应用场景举例说明。7. 结合过往RAG项目经验，讲解从数据清洗到检索服务上线的完整链路搭建流程，重点说明chunk切分的具体策略。8. 分析当前RAG技术落地的最大瓶颈，并阐述你在项目中采取过哪些优化手段来提升检索召回率（Recall）。9. 针对XX领域大模型的训练工作，说明SFT（监督微调）数据集的构造方法与核心思路。10. 结合LoRA微调实操经历，说明rank值的选择依据；在合并adapter权重的过程中，是否遇到过梯度爆炸问题，以及对应的解决方法。11. 结合你的模型部署相关经验，说明模型参数量与硬件算力需求之间的对应关系（例如不同参数量级模型所需的算力配置标准）；以部署一个稀疏率千分之三的235B参数量MOE架构模型为例，估算其所需的算力规模。12. 在搭建RAG知识库时，若需对文档进行动态更新，你采用的是全量嵌入还是增量处理方案？若为增量处理，如何规避新旧文档数据分布不一致导致的检索偏差问题。