腾讯春招大模型算法一面 攒人品中
发一下问题给大家参考,攒攒人品!
1. 什么是MHA
2. Attention运算公式
3. 为什么除以根号dk
4. 介绍现有相对位置编码和绝对位置编码的异同点,都有哪些结构
5. RoPE的结构
6. RoPE相比于绝对位置编码的优势是什么?为什么外推性更好?
7. 为什么RoPE理论上可以无限外推?
8. RoPE为什么可以利用绝对位置和相对位置的优势?
9. 介绍RAG项目(基座模型是什么?几b ?全参微调用了多少卡?数据多大?问答对的形式有图片吗?
10. 对RAG的理解是什么?为什么要用RAG?
11. BGE模型的结构
12. 什么是LoRA?有个两层神经网络,参数1万*一万,低秩r =100, LoRA参数量是多少?
13. 为什么用KV Cache?
14. KV Cache有哪些优化方法?
15. 文生图/图生文结构了解吗?文生图的怎么解码的
16. CLIP了解吗?
17. Deepseek MOE架构路由机制的细节
18. 场景题
21. 手撕:快速排序
1. 什么是MHA
2. Attention运算公式
3. 为什么除以根号dk
4. 介绍现有相对位置编码和绝对位置编码的异同点,都有哪些结构
5. RoPE的结构
6. RoPE相比于绝对位置编码的优势是什么?为什么外推性更好?
7. 为什么RoPE理论上可以无限外推?
8. RoPE为什么可以利用绝对位置和相对位置的优势?
9. 介绍RAG项目(基座模型是什么?几b ?全参微调用了多少卡?数据多大?问答对的形式有图片吗?
10. 对RAG的理解是什么?为什么要用RAG?
11. BGE模型的结构
12. 什么是LoRA?有个两层神经网络,参数1万*一万,低秩r =100, LoRA参数量是多少?
13. 为什么用KV Cache?
14. KV Cache有哪些优化方法?
15. 文生图/图生文结构了解吗?文生图的怎么解码的
16. CLIP了解吗?
17. Deepseek MOE架构路由机制的细节
18. 场景题
21. 手撕:快速排序
全部评论
强烈推荐!这个笔记写得很清晰 http://github.com/AccumulateMore/CV
相关推荐
查看13道真题和解析 点赞 评论 收藏
分享