鹅厂LLM算法 日常实习一面
攒人品中,祝大家都能拿到满意的Offer!
1.项目介绍
2.知识蒸馏,软硬标签怎么提,loss怎么算
3.lora和qlora
4.deepspeed
5.模型显存占用估算
6.训练加速模块,如flash attention
7.vllm为什么更快
8.挑个大模型介绍下
9.为什么GQA好
10.加lora计算量怎么变化
11.强化学习框架
12.kl散度
13.手撕:lora,经典接雨水
1.项目介绍
2.知识蒸馏,软硬标签怎么提,loss怎么算
3.lora和qlora
4.deepspeed
5.模型显存占用估算
6.训练加速模块,如flash attention
7.vllm为什么更快
8.挑个大模型介绍下
9.为什么GQA好
10.加lora计算量怎么变化
11.强化学习框架
12.kl散度
13.手撕:lora,经典接雨水
全部评论
相关推荐
点赞 评论 收藏
分享
Terryhimse...:只要需要工程落地,后端就不会消失,只是需要掌握的东西在慢慢迭代
点赞 评论 收藏
分享

