百度大模型应用算法一面-27实习
继续来分享下最近的面经~欢迎友好讨论,信息共享
1. 项目里重构的词表是什么量级的,基模是什么。大规模的对这个词表做增删之后,有没有遇到后训练的时候没有办法去修正模型的某些能力的这种现象?
2. on-policy蒸馏,软蒸馏和我用的方法之间有什么区别和联系
3. 项目里同时用了DPO和GRPO,为什么要这么做,有没有通过一定的实验去验证同时使用的合理性。
4. temperature = 0的时候为什么会有区别。
5. 输入的embedding层和最后输出的那一层是不是共用一组参数
6. 目前中国大模型和国外大模型在词表这方面有什么区别。
1. 项目里重构的词表是什么量级的,基模是什么。大规模的对这个词表做增删之后,有没有遇到后训练的时候没有办法去修正模型的某些能力的这种现象?
2. on-policy蒸馏,软蒸馏和我用的方法之间有什么区别和联系
3. 项目里同时用了DPO和GRPO,为什么要这么做,有没有通过一定的实验去验证同时使用的合理性。
4. temperature = 0的时候为什么会有区别。
5. 输入的embedding层和最后输出的那一层是不是共用一组参数
6. 目前中国大模型和国外大模型在词表这方面有什么区别。
全部评论
相关推荐
查看13道真题和解析