番茄大模型暑期实习面经

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

发一下问题给大家参考，攒攒人品！1.Self-Attention的原理2.PPODPOGRPO的区别，几个强化学习的损失函数3.为什么用GRPO而不是SFT4.都做过什么技术(罗列，没有深挖)5.自监督学习怎么做

1. 自我介绍2. 进程、线程、协程有什么区别进程可以理解成资源分配的基本单位，每个进程通常有独立的虚拟地址空间、文件描述符表、堆栈等资源，进程之间隔离性强，但切换开销相对更大。线程是 CPU 调度的基本单位，同一进程内的线程共享地址空间和大部分进程资源，所以线程间通信更方便，但共享数据也意味着更容易出现竞争和同步问题。协程本质上是用户态的轻量级执行单元，它不是由操作系统内核直接调度，而是由用户态运行时或者程序自己控制切换。协程切换通常只涉及少量上下文保存，开销更低，适合高并发 I/O 密集场景。如果从工程角度看，进程更偏隔离，线程更偏并行，协程更偏高并发下的调度效率和编程模型表达能力。3. ...

3.12 投递3.16 下午一面3.16 晚上二面3.17 晚上三面3.18 早上hr面许愿oc