26秋招字节大模型Agent一面

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组

如题，bg双九，研二学生，电子信息专业，课题是集群异常检测与影响评估软件开发相关的，目前无实习无论文，项目大都是飞行器健康管理相关的，现在想学习大模型应用开发方向并与课题结合起来做agent，然后找大模型应用开发相关的实习与工作，希望大家能提供思路和分析及可靠学习路线，十分感谢！

1. 介绍RAG流程；介绍对编码模型的了解、原理、优缺点；如何评估编码模型的能力2. RAG有哪些分类；多模态RAG有哪些实现框架；伪多模态RAG和多模态RAG分别怎么实现，有什么区别；CLIP可以用于哪一类多模态RAG3. RAG怎么评估，RAG评估体系中最重要的是什么4. 传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景5. 介绍微调负责的工作；大模型微调最重要的是什么6. 后训练有哪些方式；微调有哪些方式；LoRA原理及参数量7. 介绍DPO；DPO与PPO的区别8. 介绍一些Agent的实现框架；这些框架有什么区别；LangGraph适用于什么场景；LangGraph构建Agent的方式有哪几种9. 场景题：客户输入一个软件或网页界面截图，如何通过RAG的方式帮助用户了解界面的每一个组件作用10.代码：136.只出现一次的数字

笔者在秋招前由于有DB研发背景，试图找过数据开发岗的工作，最近心有所感，看现在的Agent开发岗越看越像数据开发岗，故写下这篇随想。  安慰大家，就算 oai 爆炸了，大家也不会被辞退的。 笔者一直很希望 oai 跟 nv 一起爆炸让笔者捡便宜显卡。 为什么不让加删除线，牛客怎么搞的  以下是两者在核心维度的映射对比：    维度 数据开发现状 Agent 开发现状     技术栈形态 以 SQL 为主。Java/Scala 因偏重而较少使用。 以 Prompt 为核心的自然语言，Python 和 Java/Go 也是有不少存在感的。   准入与门槛 技术门槛低于后端，学历门槛高于后端。 逻辑...