日常实习蔚来大模型算法面经

1.实习介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现

实习细节略你们用什么实现的分布式锁？为什么要引入这个组件？它的好处是什么？你知道哪些锁的类型？你的 Redis 的部署架构是什么样的？在集群模式下，Redisson 怎么保证分布式锁一定会有效？你刚才说解决这个问题的机制叫什么机制？这里面提到的分布式限流，它的底层实现是什么样的？你了解过令牌桶底层是通过什么实现的吗？RAG这个你们是怎么去做的？你的实习云存储怎么保证安全性？如果下载了一个文件的链接被其他用户劫持了，他能直接下载吗？DNS、租户、用户的权限分别是怎么做校验的？租户名跟用户名挂在了 URL 上，如果被劫持，服务端怎么能判断我没有这个权限？怎么知道对应的租户 ID 跟用户 ID 是本...

1.你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2.构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多3.用户并发中怎么做隔离？你是如何保证线程安全的？4.微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。5.DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？6.你说你服务部署在 vLLM 上，为何选择它？KV-cache 如何帮助推理加速？你自己做过哪些优化？7.假如需要支持 Streaming 输出，但当前服务延迟又超标，你会怎么折中设计？8.多轮对话上下文状态管理是如何做的？如何在高并发场景下保证一致性？9.你做的 Agent 使用了多少个外部工具，在调用链条上如何保障故障容错和超时机制？10.有没有做过工具调用失败后的feedback策略设计？11.训练过程中数据来自用户行为日志，你是如何从这些数据中抽取训练对话的？有没有做过归一化或事件抽象？12.有没有了解过带有时间窗口/偏移限制的对话系统？模型怎么“理解时间”？13.你觉得 Agent 哪些模块最容易在真实业务中出问题？你会如何监控和定位的？

如题，bg双九，研二学生，电子信息专业，课题是集群异常检测与影响评估软件开发相关的，目前无实习无论文，项目大都是飞行器健康管理相关的，现在想学习大模型应用开发方向并与课题结合起来做agent，然后找大模型应用开发相关的实习与工作，希望大家能提供思路和分析及可靠学习路线，十分感谢！