一、手撕 题目：给定一个字符串 s 和一个整数 k，每隔 k 个字符反转一次，返回最终字符串。简单很快就写出来了二、八股1.自注意力机制是什么？计算复杂度怎么算？吟唱: 通过query-key相似度计算权重，对value加权求和，建模长距离依赖。O(n平方)n为序列长度。2.KV-Cache的如何加速推理？继续吟唱：生成时缓存已经计算过的kv，避免重复计算。3.LoRA的原理是什么？与P-Tuning、Adapter的异同点？LoRA的参数选择对模型性能有何影响？三连吟唱：原理是冻结原始权重，训练低秩矩阵参数。异同在于lora训练参数，p-tuning只优化了prompt嵌入。4.介绍下RLHF的基本流程，与DPO的差异是什么？主动吟唱：RLHF三段式，sft用高质量数据集微调，rm训练对比学习模型用于打分，ppo通过rl泛化增强。dpo直接优化偏好数据，省去rm和ppo。5.分布式训练中的TP、PP、DP分别是什么？TP按tensor维度拆分,PP按网络层数分段流水线执行，DP数据并行，复制模型副本分散计算6.flash-attention的原理是什么？这里回答没太好，只讲了通过内存层次结构什么的减少I/O瓶颈7.DeepSeek的MoA架构与MoE有何区别？moe通过门控机制选择专家子网络，参数规模增加但训练难度大。moa则用多个agent回答，通过数据迭代优化，缓解偏科。8.如何处理数据不均衡问题？上采样小样本，课程学习三、项目与实习1.agent实习主要负责哪些模块？动作规划，memory经验，evaluation pipeline，后训练，很多模块都参与了，面试官也挺震惊哈哈。这里聊比较多就不po了。2.记忆系统如何实现视觉-语言特征对齐？clip映射到联合embbeding上3.如果视觉模块误判，如何通过语言纠错？检测矛盾关键字，通过反馈触发重试。4.具体讲讲怎么构建evaluation pipeline的?做了数据爬取，版本控制，llm打分

实习项目提问用的模型参数量有多大？Prompt engineering的方法？有没有自动化的方法？有什么方法避免出现安全问题和幻觉问题？Transformer结构decoder部分训练和推理有什么区别？decoder预测时i位置预测出来了，然后预测i+1位置，那么是用i位置的token结果还是概率结果？为什么？Decoder only参数量估计FFN中一般把d扩大到多少？KV-cache的空间复杂度为什么用MMOE？从scaling law的角度去回答code：编辑距离

- 项目和实习- 相关八股perplexity和质量打分用什么模型打 为什么用qwen 为什么用dense而不是moe模型数据配比怎么做 具体除了看别人的report呢 特定场景/领域需要自定义呢多样性采样怎么做 除了聚类呢组里做的是多大的模型数据具体讲讲怎么去重（token、sentence、段落等有不同级别）怎么做auto-switch cot

深圳英威腾or深圳禾望两个待遇都差不多，都是三十多个都是电力电子电源软件岗禾望在这方面应该比英威腾知名度更高一些吧。但禾望听说强度很大9106不知道真假。而英威腾wlb，是965请问各位佬，建议选哪个呢？求各位投投票，推荐一下吧🙏