ai面试

给我面没招了，感觉自己好菜、面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.在 Agent 多轮对话任务中，你觉得 Attention 的局限性体现在哪些方面？2.简要介绍一下 SFT 的核心流程以及数据集的构建策略。3.SFT 之后常见的 Post-Training 还有哪些？它们之间的目的有何区别？4.什么是 RAG？它是怎么提升生成质量的？5.与传统的检索 + 模型生成的流程有什么不同？6.如何评估一个 RAG 系统是否有效？7.PPO 和 DPO 在大模型对齐中的主要区别是什么？8.DPO 训练通常有哪些注意事项？9.项目里的 Modular Agent，你能讲讲它是如何实现多步规划的吗？10.项目提到了多个工具调用链路，调度策略是如何设计的？11.是否设计过异常 fallback 策略？12.Agent 的评估体系通常包括哪些维度？13.项目中微调 Qwen 时，选择的训练阶段是如何确定的？14.Prompt 自动推荐模块用了哪些优化策略？

1. 自我介绍 简单聊聊你写的这个项目2. bge-m3 的预训练过程是什么，为什么它可以高效检索bge-m3 的核心不只是“做 embedding”，而是把多种检索信号统一进同一个模型框架里。它同时支持 dense、sparse 和 multi-vector 三种表示。dense 负责语义层面的相似性，sparse 更接近词项权重匹配，multi-vector 则适合处理长文档、多粒度语义对齐。这样一个 query 不再只依赖单一路径召回，所以在复杂检索场景里更稳。从训练角度看，它一般不是只靠单一对比学习目标，而是会结合多任务数据，让模型既学语义匹配，也学词面相关性和局部对齐能力。高效检索的...

AI大模型算法，一环扣一环的拷打Transformer 基础详细介绍 Transformer 架构（Encoder-Decoder 结构、位置编码、FFN 等）Decoder 的因果注意力中，Q、K、V 分别来自哪里？→ Q 来自当前 Decoder 输入（已生成的 token 序列），K 和 V 也来自同一序列（需 mask 未来信息）Attention 为什么要 scaled？不做会怎样？为什么是√dₖ？→ 点积随 dₖ增大会让 softmax 进入饱和区，导致梯度消失；除以√dₖ可使方差稳定在 1（数学推导参考 Vaswani 论文）Transformer 如何加速推理？KV Cache 是什么？训练 vs 推理的并行性差异？→ 训练时所有 token 并行计算；推理时自回归，KV Cache 可缓存历史 K/V，避免重复计算，大幅提速多模态论文深挖（以 Video-LLaMA 为例）讲解 Video-LLaMA 的整体结构→ 视频编码器（如 ViT + Temporal Aggregator）→ 投影层（对齐文本空间）→ LLaMA 语言模型论文中 CoT（Chain-of-Thought）的具体设计？→ 在 prompt 中加入推理步骤示例（如 “视频中先看到人挥手，然后狗跑过来…”），引导模型分步作答微调 & 分布式训练微调用了 LoRA，介绍其原理→ 将权重更新 ΔW 分解为低秩矩阵 A×B，冻结原模型，只训练 A、B，大幅减少可训练参数LoRA 初始化怎么做？秩（rank）设为多少？为什么选这个值？→ A ~ N (0, σ²)，B 初始化为 0；常用 rank=8 或 16，在效果和参数量间取得平衡（实验验证）知道 DeepSpeed 和 Megatron 吗？分别说说→ DeepSpeed（微软）：主打 ZeRO 显存优化；Megatron-LM（NVIDIA）：张量并行 + 流水线并行论文用 DeepSpeed，三个 Stage（ZeRO-1/2/3）分别是什么？→ Stage1：优化器状态分片；Stage2：+ 梯度分片；Stage3：+ 模型参数分片（通信换显存）二面下一篇再写吧，力竭了

被横向挂了，希望发出来对大家有帮助！1.OCR的原理2.PPO DPO对比、各自的原理、简单手搓、各自优势及常见应用的情况3.Transformer Self-Attention的公式和手搓，Multi-Head原理4.RAG基本步骤5.SQL增删查改操作在几种常见情况下的时间复杂度，基础存储方式【Agent经历拷打】1.Agent在不同客户的需求情况下、分别选用什么模型。常见情况： 做知识图谱、Chatbot、辅助企业生成可视化的数据或报表、智能客服和商品推荐等2.是否增加了pre-run判断 用什么模型和实现方式3.如何判断选用单一稳健强大的模型 ，还是说用多个轻量、侧重和优势点不同的小模型 应用在整个pipeline的不同节点中