OPPO AI应用开发实习面经 1h

继续来分享下最近的面经~
1.问项目
2.Peft除了lora还有哪些方法
3.lora的a b两个矩阵怎么初始化?两个初始化可以置换吗?
4.Lora有哪些超参数,如果rank变化的话,α对应应该怎么变化
5.有什么优化显存的方法,比如给你8张A100,训一个32b的模型,oom了怎么解决
6.为什么梯度累积的方法可以节约显存?
7.有什么自动化优化prompt的方法?基于梯度的和基于反思的?
8.手撕:给了一份LoRa微调的代码,挖了七八个空填空
包括初始化,冻结参数,替换lora层等。
全部评论

相关推荐

评论
点赞
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务