27日常实习-美的大模型算法一面
继续来分享下最近的面经~欢迎友好讨论,信息共享
1.实习拷打
2.Batchsize 训练长度,梯度累计怎么设定?
3.这个框架的位置编码?
4.训练过程损失函数怎么下降?有没有遇到梯度消失和梯度爆炸这种问题?
5.除了大模型有没有做过其他训练?看你本科也不是做的这个,有没有深度学习方面的训练?
6.Lora是自己搭的吗还是用的开源模型框架?Lora从o实现是指什么?
7.介绍一下dpo算法,dpo这里训练数据怎么来的?Dpo训练框架?
8.Sft模型和dpo之后模型的对比?Dpo和sft顺序?
9.Dpo训练过程中是否有不稳定?损失函数怎么表现?
10.有没有特定测试集去对比dpo之后比sft好?以及为什么
12.数据生成过程中遇见噪声怎么清洗过滤低质量数据?
1.实习拷打
2.Batchsize 训练长度,梯度累计怎么设定?
3.这个框架的位置编码?
4.训练过程损失函数怎么下降?有没有遇到梯度消失和梯度爆炸这种问题?
5.除了大模型有没有做过其他训练?看你本科也不是做的这个,有没有深度学习方面的训练?
6.Lora是自己搭的吗还是用的开源模型框架?Lora从o实现是指什么?
7.介绍一下dpo算法,dpo这里训练数据怎么来的?Dpo训练框架?
8.Sft模型和dpo之后模型的对比?Dpo和sft顺序?
9.Dpo训练过程中是否有不稳定?损失函数怎么表现?
10.有没有特定测试集去对比dpo之后比sft好?以及为什么
12.数据生成过程中遇见噪声怎么清洗过滤低质量数据?
全部评论
相关推荐
查看19道真题和解析 点赞 评论 收藏
分享
查看25道真题和解析 点赞 评论 收藏
分享
查看28道真题和解析 点赞 评论 收藏
分享