2024-09-27 13:07 北京大学 自然语言处理 发布于北京
关注
近期面经总结
最近比较忙，面试也没停，不记得太多了，写一些我觉得比较有意思的。来源淘天 度小满 快手 字节等
1. Bert 的结构和预训练任务
2.Bert 的 MLM 任务和 word2vec 的上下文预测中间有啥区别？
3. 知不知道 rag 用的 embedding 和 bert 的区别？
4. rag 检索会有啥优化？
5. lora 微调在显存上主要节省的是哪部分空间？（优化器）
6. 微调数据集怎么做的采样？怎么优化？
7. 强化学习的一些，DPO 的一些优化
8. attention 有哪些优化？（其实不太懂，我就说 GQA MQA）
其他的大部分八股都是很常见的，主要是最近被连续问了两次 embedding 相关，可以看看 bge 的预训练任务
代码
比较常规吧，有意思的是二分类器
输入 100 bs 的 64 维度输入和 Y label，自己实现 sigmoid BCE layerNorm， 先过一个 Linear 再过 layerNorm 再过 Linear 再计算 loss 返回
1. Bert 的结构和预训练任务
2.Bert 的 MLM 任务和 word2vec 的上下文预测中间有啥区别？
3. 知不知道 rag 用的 embedding 和 bert 的区别？
4. rag 检索会有啥优化？
5. lora 微调在显存上主要节省的是哪部分空间？（优化器）
6. 微调数据集怎么做的采样？怎么优化？
7. 强化学习的一些，DPO 的一些优化
8. attention 有哪些优化？（其实不太懂，我就说 GQA MQA）
其他的大部分八股都是很常见的，主要是最近被连续问了两次 embedding 相关，可以看看 bge 的预训练任务
代码
比较常规吧，有意思的是二分类器
输入 100 bs 的 64 维度输入和 Y label，自己实现 sigmoid BCE layerNorm， 先过一个 Linear 再过 layerNorm 再过 Linear 再计算 loss 返回
全部评论
落巡风
门头沟学院 算法工程师
佬，现在都啥进展呀，，感觉现在都在泡池子呀。
Lai点offer
门头沟学院 算法工程师
rag 用的 embedding 和 bert 的区别，就是rag的会多一个检索的微调吧
TYTY201903310226209
Washington University in St. Louis 算法工程师
佬 第三题是 bert给的是token level的embedding但是rag用的embedding比如说openai的直接输出整句的么
3997095
北京航空航天大学 算法工程师
佬，lora 微调在显存上主要节省的是哪部分空间？（优化器），不对呀
相关推荐
查看5道真题和解析 点赞 评论 收藏
分享