发一下问题给大家参考，攒攒人品！1、为什么会出现梯度消失或者梯度爆炸？2、LSTM相较RNN又有什么优势？3、介绍你用到的损失函数4、详细解释transformer的整体架构5、transformer为什么要用注意力机制？共有几个注意力机制？为什么用多头注意力机制？6、说一下q、k、v机制以及注意力计算公式，为什么公式中要除以根号dk？7、交叉注意力机制的q、k、v分别来自哪，是编码器还是解码器？8、说一下transformer训练一次都有哪些参数会更新？9、你用的transformer参数量是多大？10、为什么要位置嵌入，使用加法嵌入而不直接拼接？11、说一下transformer为什么要用层归一化而不用批量归一化，他们两个的区别？12、你用过哪些音频处理办法？音频处理流程？用过哪些pytorch的库？13、说出你用过的linux命令14、了解哪些机器学习算法，KNN的neighbor参数的作用？决策树、随机森林是bagging还是boosting？15、分类和逻辑回归的区别？16、用过哪些优化器，训练轮次是多少？17、模型的输入是什么，输出是什么？18、介绍TDNN和ECAPA-TDNN，了解等错误率吗，p、r、f的计算公式？19、对时序数据做过哪些预处理？特征选取是怎么做的？数据量是多少？输出百分比是92%，另外的8%差在哪？20、降维方法有哪些？VAE和普通自编码器的区别？21、了解常用的推荐系统算法吗？22、在你的项目中，用到了transformer的哪些部分，编码器还是解码器，还是全部？23、了解端到端吗，该怎么实现？24、说一下transformer为什么要掩码，三个注意力都有掩码吗？25、了解大模型吗，介绍RAG，说明RAG的作用，说明为什么大模型会出现幻觉？26、声纹识别技术的损失函数是什么，评价指标是什么，做了哪些调参调优工作？27、介绍whisper模型，说明其和transformer架构的不同之处28、介绍语音合成模型VITS29、写transformer的注意力机制部分的代码，会sql吗，写sql、写算法题，问思路30、为什么LSTM有时候会比transform好？transform为什么训练比较慢？31、说一下transform在时序上最新的工作

给我面没招了，发点面经攒攒人品～1）介绍一个最能代表自己的项目2）项目里负责的边界是什么？哪些内容是亲手实现／验证的？3）电商领域预训练数据：低质过滤与去重会怎么做？用哪些简单指标快速判断数据质量？4) Pretrain 和 SFT 分别解决什么问题？5) Transformer 的基本结构怎么理解？6）多模态模型的大致结构是什么（图像编码器+连接层+ LLM )？最容易踩坑的点通常在哪里？7) SFT 数据如何更贴近业务：如何避免过度模板化？如何做基础的 train / test 去重来避免评测失真？8）对齐（ RLHF / DPO 等）整体思路是什么：为什么需要偏好对／奖励信号？

被横向挂了，希望发出来对大家有帮助！1. 请介绍 Transformer 的结构组成及各部分作用2. 如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？3. LoRA 微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？4. KV Cache 是什么？为什么能极大地提升推理速度？5. RAG 完整流程，构建向量检索库时如何处理时间衰减对召回的影响？6. 微调时的训练数据是怎么构建的？如何保证样本多样性和质量？7. 在 RAG+知识图谱的 Agent 系统中，知识图谱更新的机制是怎样的？如何保证实时性？8. 训练 LoRA 模型时，你是如何选择冻结层的？依据是什么？9. 在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？10. 大规模 Agent 系统在多线程/多进程场景下的资源调度策略如何设计？11. 如果在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？代码题12. LeetCode 15 三数之和

发一下问题给大家参考，攒攒人品！1.Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？2.在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？3.简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？4.什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？5.PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？6.项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？7.项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？8.Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？9.项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？10.Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？11.场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？12.代码：岛屿数量