腾讯TEG大模型算法暑期实习一面分享

发点面经攒攒人品～
1.介绍主流 Transformer-based 模型架构
2.讲一下 LoRA 原理
3.为什么用 LoRA，而不用全量微调
4.如何理解 LoRA 的核心假设：模型针对特定任务做下游微调时，权重矩阵更新具有极低的内在秩
5.为什么 SFT 之后还要进行后训练
6.讲一下 DPO 的损失函数怎么计算
7.讲一下 GRPO 原理
8.GRPO 和 PPO 的区别
9.GRPO 的优点
10.什么情况下使用 GRPO 效果会不好
11.使用 GRPO 时，构造数据要符合什么要求
12.为什么不用 GRPO 训练，而是用 DPO 训练
13.熟悉哪些 Agent 框架
14.如果要设计一个好的 Agent，除了大模型，还会设计哪些部分
15.了解哪些训练框架
16.怎么构造高质量训练集
17.怎么体现训练集高质量
18.多路 System 增强策略怎么做
19.训练后的效果用什么指标评价
20.Dense 模型和 MoE 模型有什么区别
21.怎么评测训练效果
22.了解哪些量化技术
23.量化发挥作用的原理是什么
24.讲一下 ZeRO-1、ZeRO-2、ZeRO-3
25.如果显存有限，会选择哪个方案训练
26.了解投机解码技术吗
27.讲一下投机解码技术原理
28.算法题：
LeetCode 56 合并区间