03-19 01:35 浙江大学 算法工程师
关注
字节日常实习-大模型一面-攒人品
继续来分享下之前的面经~欢迎友好讨论，信息共享
1. dpo 和 sft 的区别，先 dpo 后 sft 可以么
2. 如果把 DPO 用在“第一轮对话”，你会怎么做数据集？prompt、chosen/rejected 你打算怎么来
3. 多轮对话的数据分布你会怎么设计：单轮和多轮各占多少，为什么这么配
4. 具体到 DPO 数据，多轮样本你会怎么采样/怎么配比（有没有什么坑）
5. reward hacking 你怎么看？一般怎么防，怎么兜底
1. dpo 和 sft 的区别，先 dpo 后 sft 可以么
2. 如果把 DPO 用在“第一轮对话”，你会怎么做数据集？prompt、chosen/rejected 你打算怎么来
3. 多轮对话的数据分布你会怎么设计：单轮和多轮各占多少，为什么这么配
4. 具体到 DPO 数据，多轮样本你会怎么采样/怎么配比（有没有什么坑）
5. reward hacking 你怎么看？一般怎么防，怎么兜底
全部评论
相关推荐
查看7道真题和解析 点赞 评论 收藏
分享
