2024-09-27 13:07 北京大学 自然语言处理 发布于北京
关注
近期面经总结
最近比较忙，面试也没停，不记得太多了，写一些我觉得比较有意思的。来源淘天 度小满 快手 字节等
1. Bert 的结构和预训练任务
2.Bert 的 MLM 任务和 word2vec 的上下文预测中间有啥区别？
3. 知不知道 rag 用的 embedding 和 bert 的区别？
4. rag 检索会有啥优化？
5. lora 微调在显存上主要节省的是哪部分空间？（优化器）
6. 微调数据集怎么做的采样？怎么优化？
7. 强化学习的一些，DPO 的一些优化
8. attention 有哪些优化？（其实不太懂，我就说 GQA MQA）
其他的大部分八股都是很常见的，主要是最近被连续问了两次 embedding 相关，可以看看 bge 的预训练任务
代码
比较常规吧，有意思的是二分类器
输入 100 bs 的 64 维度输入和 Y label，自己实现 sigmoid BCE layerNorm， 先过一个 Linear 再过 layerNorm 再过 Linear 再计算 loss 返回
1. Bert 的结构和预训练任务
2.Bert 的 MLM 任务和 word2vec 的上下文预测中间有啥区别？
3. 知不知道 rag 用的 embedding 和 bert 的区别？
4. rag 检索会有啥优化？
5. lora 微调在显存上主要节省的是哪部分空间？（优化器）
6. 微调数据集怎么做的采样？怎么优化？
7. 强化学习的一些，DPO 的一些优化
8. attention 有哪些优化？（其实不太懂，我就说 GQA MQA）
其他的大部分八股都是很常见的，主要是最近被连续问了两次 embedding 相关，可以看看 bge 的预训练任务
代码
比较常规吧，有意思的是二分类器
输入 100 bs 的 64 维度输入和 Y label，自己实现 sigmoid BCE layerNorm， 先过一个 Linear 再过 layerNorm 再过 Linear 再计算 loss 返回
全部评论
落巡风
门头沟学院 算法工程师
佬，现在都啥进展呀，，感觉现在都在泡池子呀。
Lai点offer
门头沟学院 算法工程师
rag 用的 embedding 和 bert 的区别，就是rag的会多一个检索的微调吧
TYTY201903310226209
Washington University in St. Louis 算法工程师
佬 第三题是 bert给的是token level的embedding但是rag用的embedding比如说openai的直接输出整句的么
3997095
北京航空航天大学 算法工程师
佬，lora 微调在显存上主要节省的是哪部分空间？（优化器），不对呀
相关推荐
不愿透露姓名的神秘牛友
07-30 14:54
一表renzha：
如果一个人认识不到颜值的重要性只能说他还没长大，从小到大的教育都告诉我们心灵美才是真的美，内在美大于外在美，但是现实会告诉你，外在美是绝对远远大于内在美的，好看的人就是会得到优待 点赞 评论 收藏
分享
查看30道真题和解析
不愿透露姓名的神秘牛友
08-01 18:00
码农索隆：1.先把腾娱的offer接了。
2.找理由回学校，改简历，准备秋招。
投递腾讯等公司10个岗位 点赞 评论 收藏
分享