OPPO AI应用开发实习面经 1h
继续来分享下最近的面经~
1.问项目
2.Peft除了lora还有哪些方法
3.lora的a b两个矩阵怎么初始化?两个初始化可以置换吗?
4.Lora有哪些超参数,如果rank变化的话,α对应应该怎么变化
5.有什么优化显存的方法,比如给你8张A100,训一个32b的模型,oom了怎么解决
6.为什么梯度累积的方法可以节约显存?
7.有什么自动化优化prompt的方法?基于梯度的和基于反思的?
8.手撕:给了一份LoRa微调的代码,挖了七八个空填空
包括初始化,冻结参数,替换lora层等。
1.问项目
2.Peft除了lora还有哪些方法
3.lora的a b两个矩阵怎么初始化?两个初始化可以置换吗?
4.Lora有哪些超参数,如果rank变化的话,α对应应该怎么变化
5.有什么优化显存的方法,比如给你8张A100,训一个32b的模型,oom了怎么解决
6.为什么梯度累积的方法可以节约显存?
7.有什么自动化优化prompt的方法?基于梯度的和基于反思的?
8.手撕:给了一份LoRa微调的代码,挖了七八个空填空
包括初始化,冻结参数,替换lora层等。
全部评论
相关推荐
04-27 20:33
华东理工大学 C++ 点赞 评论 收藏
分享
04-14 18:19
复旦大学 算法工程师 点赞 评论 收藏
分享
查看14道真题和解析