腾讯后台ai开发面经分享-27实习

发点面经攒攒人品～算法题：对话历史构造输入一个 List，包含 session_id、turn_id、query、answer 四列输入不保证按 turn_id 有序输出要求：在原始数据基础上增加 history 列，表示当前轮次之前的历史对话内容1.问实习项目2.项目解决的是什么问题3.训练数据来源4.DPO 训练数据格式5.训练时有没有考虑模型泛化能力6.如何解决模型死循环问题7.解释为什么会有模型死循环问题8.压缩向量的具体形式9.更倾向于研究型工作还是面向业务的工作

一、概述与全链路 RAG（检索增强生成）：用户提问 → 检索知识库相关片段 → 注入 Prompt → LLM 基于真实数据生成。解决知识截止、幻觉、无法访问私有数据。 Naive RAG（检索-拼接-生成）→ Advanced RAG（Query 改写、混合检索、Rerank）→ Modular RAG（可插拔模块、Agent 动态决策） 文档 → Chunking → Embedding → 向量数据库 用户查询 → Query改写 → 向量化 → 混合检索 → Rerank → Prompt → LLM生成  二、文档处理（Chunking + Metadata） 切分策略    策略 ...

一、自我介绍二、实习相关八股1. 实习业务场景负责大模型对话对齐、指令微调、强化学习优化，提升模型生成准确性、合规性与指令遵循度，落地垂类对话/问答业务。2. SFT数据筛选、采样及处理3. 选择GRPO的原因、优化目标及数学原理- 选型原因：相比PPO显存占用低、无需价值网络、训练更稳定，对齐效率高- 优化目标：最大化模型生成优势，约束KL散度防止策略突变- 原理：分组优势归一化、截断策略比率、近端约束，降低训练方差4. 奖励函数设计（重点）围绕有用性、准确性、合规性、流畅性设计，分维度打分；加入KL惩罚，避免单一奖励过拟合，区分正负奖励权重。5. 判断RL训练质量达标方法- 奖励值收敛、KL散度稳定；- 离线评测：指令遵循率、幻觉率达标；- 人工抽检生成内容，无退化、无套路化输出6. 是否遇到Reward Hacking遇到过，模型生成空洞话术、固定模板刻意刷高奖励值。7. 其他奖励作弊类型刻意迎合奖励规则、答非所问、重复安全话术、回避核心问题、策略坍缩同质化输出。8. PPO和DPO了解- PPO：在线强化学习，近端策略优化，带价值网络，训练复杂度高- DPO：离线偏好优化，基于成对偏好数据，无需交互采样，训练简单稳定三、基础八股1. Attention计算时间复杂度标准自注意力：O(n²d)（n为序列长度，d为特征维度）2. KV Cache原理推理时缓存历史token的KV矩阵，避免重复计算，降低算力开销，提升推理速度。3. GQA、MLA原理- GQA：分组查询注意力，Q分组共享KV，平衡推理速度与效果- MLA：融合局部+全局注意力，适配长上下文，降低显存占用4. vLLM原理基于PagedAttention分页管理KV Cache，提升显存利用率，支持高并发推理。5. Flash Attention原理分块计算注意力，优化显存IO，减少HBM访问，提速同时降低显存开销。6. 稀疏注意力原理仅计算局部/关联token注意力，舍弃全局无关token，将复杂度降至O(n)，适配长文本。7. 模型推理慢排查思路检查序列长度、batch大小；确认KV Cache、量化、FlashAttention开启；排查GPU显存、算子优化问题。四、编程题1. rand7()实现rand10()拒绝采样：rand7()*rand7()生成1-49数，保留1-40，映射为1-10，超出则重新生成。2. 浮点数组取整最小变化和贪心思路：每个数选上/下取整中差值更小的，累加最小总误差。3. 最长无重复子串

❓面试问题：询问项目1.rag和sft的区别和适用场景2.rag的知识库如何做定期维护场景题1.大量用户直播场景，有点赞功能，如何优化。（先答了使用redis，然后询问有没有其他优化，回答前端节流、服务端分片分批次提交），询问java使用什么数据结构（回答使用concurrentHashMap,value使用原子操作）2.如何实现三个线程执行完成后再执行（回答使用信号量或者锁，三个线程记录count值，达到3时唤醒主线程）八股1.什么是回表。2.什么时候不走索引。3.什么时候叶分裂。4.redis的缓存一致性。手撕1.三个线程按顺序打印1，2，3🙌面试感想：