标准的KPI面试，面试官随便问了几个简历上很浅的问题就结束了八股文：DPO、PPO、GRPO的优劣势手撕：反转链表（ACM模式，自己写示例）反问：部门具体业务.....(当他主动跟我说不是他招实习生，是隔壁部门招实习生，他临时被喊过来的时候，我就知道gg又是浪费时间的一天）

二面 1.自我介绍，问实习和论文2.实习微调过Qwen2，你说说Qwen2的模型结构吧Qwen2相比Qwen1做了哪些改进3.为什么现在 Decoder-only 成为大模型的主流架构，相比于 Encoder-Decoder的架构好在哪里4.讲-下 ROPE ，目目前常用的位置编码还有哪些，ROPE 有什么优点5.为什么有了 SFT 之后还需要 RLHF6.PPO和 DPO 的主要思想是什么，DPO 相比 PPO的 RLHF 做了哪些改进，除此之外还知道哪些 RL算法7. 代码:23.合并K个升序链表

27届想找AI类实习，产品类实习。求拷打

项目介绍+拷打1.每一步骤以后获得回答的变化，*在项目里sft和rlhf后大模型回答有什么变化，举例说明2.sft和 rlhf的作用有什么区别3.*sft如果用 dpo的chosen回答直接做sft的话还需要 rhf吗?八股1.sft有哪些方式?除了lora还有哪些?lora中为什么低秩矩阵是能够表示增量的?怎么初始化的?为什么要这么初始化?2.ppo、grpo、dpo(critic model和rewardmodel，哪个是未来价值，组内相对优势怎么计骎算，*如果组内差距大的话会对训练有什么影响?有没有佬说一下这个怎么答coding(二选一)1.手撕 transformer，输入一个矩阵然后输出经过transformer块以后的结果，不能使用torch，只能使用 numpy2.非 hot100 leetcode困难地下城游戏