百度大模型实习一面 1h

攒人品中,祝大家都能拿到满意的Offer!
1.项目拷打
2.DPO损失函数怎么算的
3.梯度检查点如何提升效率
4.详细讲一下deepseed
5.以7B的模型为例,计算训练需要多少显存说明都有哪些部分,每部分怎么算的,以及用deepseed每一个阶段节省多少内存,怎么节省的,计算过程中都有乘以2字节是为什么,什么原理
6.做Rag 时候的分块策略
7.BM25原理,RRF的原理
8.Kl散度的输入是什么,怎么来的
手撕:用torch实现kl散度
全部评论
这点东西面了这么久啊
点赞 回复 分享
发布于 昨天 23:01 北京

相关推荐

评论
2
7
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务