2024-08-19 23:14 江苏大学 算法工程师 发布于北京
关注
秋招第一面：快手大模型应用
8.19
自我介绍
问最近的一个实习项目，是做口腔大模型的：（侧重于模型训练）
1.数据集规模、筛选和配比
2.超参数有哪些。学习率的选择，怎么寻找超参。小规模数据，怎么跑的，是串行还是并行。loss曲线怎么看的
3.DeepSpeed介绍，用的什么配置（zero_2）
4.为什么选择 Qwen1.5-32B-chat （就俩卡，用57B跑的太慢）
5.BLEU-4的计算公式
5.模型评估是怎么做的？
第二个实习经历，是做的RAG（侧重于模型底层原理）
1.lora介绍，秩的数学意义，怎么计算矩阵的秩
2.多路召回是怎么实现的
3.向量模型和重排模型的微调是怎么做的
4.交叉熵的计算公式。在前向传播的时候为什么选择交叉熵作为loss，为什么不用mse（为什么
）
5.在模型预测的时候，softmax是把词表的全部token的概率都归一化吗？词表都很大，怎么加速计算（我也没算过啊
）
本科的项目经历，是一个微博舆情主题及情感演化的时空分析，GitHub上500多star。（侧重于项目设计思路）
1.项目的选题和意义
2.项目的设计框架
算法题：
最大连续子数组和。有印象，但是写得太快了没定义好，出现了很多bug，在面试官不断提醒错了后逐步debug出来了。
没咋考RAG，更多的是模型侧的，有些没有学到那么深。应用我以为是重点考RAG呢，复习重点错了
#快手求职进展汇总##你的秋招第一面感觉怎么样##九月投秋招是不是太晚了？#
自我介绍
问最近的一个实习项目，是做口腔大模型的：（侧重于模型训练）
1.数据集规模、筛选和配比
2.超参数有哪些。学习率的选择，怎么寻找超参。小规模数据，怎么跑的，是串行还是并行。loss曲线怎么看的
3.DeepSpeed介绍，用的什么配置（zero_2）
4.为什么选择 Qwen1.5-32B-chat （就俩卡，用57B跑的太慢）
5.BLEU-4的计算公式
5.模型评估是怎么做的？
第二个实习经历，是做的RAG（侧重于模型底层原理）
1.lora介绍，秩的数学意义，怎么计算矩阵的秩
2.多路召回是怎么实现的
3.向量模型和重排模型的微调是怎么做的
4.交叉熵的计算公式。在前向传播的时候为什么选择交叉熵作为loss，为什么不用mse（为什么
）5.在模型预测的时候，softmax是把词表的全部token的概率都归一化吗？词表都很大，怎么加速计算（我也没算过啊
）本科的项目经历，是一个微博舆情主题及情感演化的时空分析，GitHub上500多star。（侧重于项目设计思路）
1.项目的选题和意义
2.项目的设计框架
算法题：
最大连续子数组和。有印象，但是写得太快了没定义好，出现了很多bug，在面试官不断提醒错了后逐步debug出来了。
没咋考RAG，更多的是模型侧的，有些没有学到那么深。应用我以为是重点考RAG呢，复习重点错了
#快手求职进展汇总##你的秋招第一面感觉怎么样##九月投秋招是不是太晚了？#
全部评论
牛客367450263号
门头沟学院 自然语言处理
佬投的杭州还是北京呀
合合信息金牌内推官
西安电子科技大学 算法工程师
第一面很厉害了
蜿蜒曲折旷野中
门头沟学院 算法工程师
同学，考虑字节商业化LLM算法嘛~
offer来offer来offer来oi
门头沟学院 算法工程师
m
牛客824377863号
武汉大学 算法工程师
佬，请问RAG评估的话一般怎么回答呀
RZ_Q
西安交通大学 算法工程师
佬是投正式批吗
相关推荐