继续来分享下之前的面经~欢迎友好讨论，信息共享实习、项目拷打1.图文多模态大模型发展史2.位置编码的演变过程3.图文对齐时一般采用哪种方式4.模型的能力是在预训练阶段确定还是后训练结束之后5.追问:现在后训练为啥比之前更能激发模型的能力，有哪些形式上的创新手撕:写多头注意力机制，加上掩码

攒攒人品～ 1. Lora应用于哪些模块？为什么是这两个模块？2. Lora两个矩阵怎么初始化？它们的初始化方式能交换吗？为什么？3. Lora r 怎么设置的？为什么这样设置？4. 残差连接的作用？5. 怎么train一个好的lora？具体超参数怎么设置的怎么调优？为什么不只靠学习率，为什么还需要ahlpa/r？6. top-k，top-p，temperature是怎么实现的？7. Qwen2.5VL做了哪些改进？8. 为什么大模型需要强化学习，比起SFT有什么区别？9. 现在的embedding模型有哪些问题？怎么改进？

感觉自己好菜、面试很难，还是要多多练习1.大模型相关经历深挖：你项目里最核心的贡献是什么，怎么验证有效2.对比学习 loss：负样本和正样本拉不开/太像了，你会怎么改损失或采样3.FlashAttention 跟普通 attention 的差异？实现里 QK^T、softmax、PV 这几步怎么落4.3D 并行里 DP/DDP你怎么理解；实际落地时通信瓶颈一般卡在哪些环节5.14B：FP16 权重大概多大；训练还要加哪些；INT8 大概能省多少6.torch.contiguous() 干嘛的？推理为什么在意连续性7.代码：读 txt 井字棋（3×3），判断当前玩家是否获胜8.交叉熵损失：解释/怎么写9.线性回归用 SGD：更新公式怎么推/怎么写

我靠，怎么还考 python2 和 python3 的差异的，我直接从 python3 开始学的啊，已老实