【25暑期实习】昆仑万维NLP/CV一面

35分钟左右
面试官很温柔

1.自我介绍
2.介绍实习中大模型的工作
3.针对实习提问,比较好奇怎么做的
4.算法题:拆分单词。。写完还没跑就让我交了…事后发现代码有问题…
5.微调用了什么框架?
6.有没有全量微调过?
7.提问

团队介绍
1.做的产品是一个海外的大模型,没记住名字,隐约听他提到了对话问答NPC
2.NLP团队和CV团队差不多都是15人左右
3.可以实习转正,说备注一下跟二面面试官聊
4.早9.半晚7,说工程加班算法还好
5.400多张A100/A800
6.支持自己用公司机器验证idea,但是正式员工不会带发论文
7.感觉他们skymusic做得不错就问了下,说跟他们团队有过交流

好奇大佬们提问环节都会问啥!求教

全部评论
我今天也面了昆仑万维的算法,问的大部分是和大模型训练数据制备和预处理相关的问题,以及数据长尾问题。还问了一些很细的Bert的结构
点赞 回复
分享
发布于 04-03 16:35 北京

相关推荐

投的是算法工程 算法工程岗位。做的是 Ai infra。实际上是做大模型推理加速训练加速之类的优化框架, 没啥经验。1. 自我介绍2. 介绍一下自己第二段实习遇到的难点(就从算法和工程两块随便说了一点)3.C++指针和引用的区别4.STL 常用吗? map 的具体实现懂吗?(红黑树,不过用 umap 更多,哈希表)5.那你介绍一下哈希表的常用实现方式。(就讲了一下拉链法, 桶,重哈希啥的)6. 智能指针了解吗? 介绍一下7. 右值引用知道吗?移动语义介绍一下。8.transformer 的结构了解吗?介绍一下9.有了解过大模型的并行优化方式吗?(随便讲了一下模型并行 数据并行 流水线并行)10.那我现在一个 gpu 都放不下一层怎么办?(张量并行)11.那你知道张量并行怎么设计吗?就是矩阵之类的怎么拆?(这个不太了解了)12. deepspeed 和 megatronLM 有了解吗?(不太了解其实,只用过,什么 3D 并行13.flash attention 有了解吗?(大概讲了一下 QKV 中间状态不保存, 后向重新计算, 还有 softmax 分块计算)代码题字符串反转 to be or not to be 反转成 be to not or be to整体而言不难,但是主要是整体问的都比较底层和框架一点,其实都不太了解, 不知道面试官咋看。
点赞 评论 收藏
转发
点赞 2 评论
分享
牛客网
牛客企业服务