秋招回顾1:超参数科技算法岗面经(上)

背景:楼主主要做多模态分类任务方面的研究,秋招主要投NLP和多模态岗位,如果机器学习岗位描述和我相符我也会投
我建议每一个秋招人都投投超参数科技磨练磨练,面试官人都很有耐心,问的也很细,答不上来还会提醒你,会让你对自己的项目细节有一些新的思考,听了宣讲觉得他们公司氛围也很好很年轻,奈何人家不要我
流程:投递岗位为自然语言处理研究员,投递时间n,一面时间m=n+16天,二面时间k=n+23天=m+7天,二面后一直排序,最终无疾而终
一面:
1. 自我介绍
2. 介绍一个项目
以下问题均针对不同项目的细节提出:
3. 多模态的任务,在BERT的输入,图片的输入是怎么处理的?
4. 图文匹配还有一些好用的loss可以了解一下:文本可以在BERT一侧像预训练一样加上一个MLM的loss;image text alignment,图片和文本对齐的loss
5. 图文匹配时,loss是采用的是像clip一样的对比学习的方式嘛?对比学习就是在同一个batch内组负样例。
6. 写二分类的交叉熵公式,多分类的交叉熵公式怎么写?
7. BERT一层encoder的transformer block包含了哪些元素,或者说算子是如何forward的?
8. BERT用的Normalization是LN,那LB和BN的区别是什么?为什么在文本中用LN更好,而在图片中要跨batch做normalization?
9. LN的公式?为什么要先把他映射为均值为0,方差为1,有给他乘上增益,加上偏置呢(为什么要再做scale)?
10. 写一下self-attention的公式
11. BERT用的优化器是什么?(Adam)它的优点是什么?
12. 蒸馏的temperature了解嘛
13. student学习的时候,是直接学习的teacher的预测值,还是预测值和label都有学习到?
14. 模型的loss是怎么算的?
15. word2vec里面,因为词表数过多,训练效率的问题有哪两种优化策略?(负采样;层次softmax,将词表构建为树的模型,从O(n)缩到O(logn))
16. LSTM在解决梯度爆炸或者梯度消失问题上有什么特点?三个门用到的激活函数是什么?(sigmoid,门是为了保证概率在0~1之间才能控制输出多少量)
17. 编程题:最长递增子序列
全部评论
多谢大佬的指点~
1 回复 分享
发布于 2023-03-21 13:00 天津
暑期实习面试了超参数,确实面试体验好好
点赞 回复 分享
发布于 2023-06-08 16:06 广东

相关推荐

04-03 12:09
東京大学 C++
求求求求暑期offer:留第一行,剩下的不要
点赞 评论 收藏
分享
咦哟,从去年八月份开始长跑,两处实习转正都失败了,风雨飘摇,终于拿到offer了更新一下面试记录:秋招:多部门反复面试然后挂掉然后复活,具体问了啥已经忘了,只是被反复煎炸,直至焦香😋春招:base北京抖音hr打来电话说再次复活,准备面试,gogogo北京抖音一面:六道笔试题:1.promise顺序2.定义域问题3.flat展开4.并发请求5.岛屿数量算法(力扣)深度,广度都写6.忘记了,好像也是算法,难度中等其他问题多是框架底层设计,实习项目重难点~~~秒过😇北京抖音二面:三道笔试题:(为什么只有三道是因为第三道没做出来,卡住了)1.中等难度算法(忘记啥题了,应该是个数组的)2.认识js的继承本质(手写继承模式,深入js的面相对象开发)3.手写vue的响应式(卡在了watch,导致挂掉)---后知后觉是我的注册副作用函数写得有问题,有点紧张了其他题目多是项目拷打,项目亮点,对实习项目的贡献~~~第二天,挂,but立马复活转战深圳客服当天约面深圳客服一面:六道笔试题,由于面过太多次字节,面试官叫我直接写,不用讲,快些写完😋,具体都是些继承,深拷贝(注意对数组对象分开处理,深层次对象,循环引用),加中等难度算法题~~~秒过深圳客服二面:口诉八股大战:大概囊括网络,浏览器渲染原理,动画优化,时间循环,任务队列等等(你能想到的简单八股通通拉出来鞭尸😋)算法题:笔试题6道:1:找出数组内重复的数,arr[0]-arr[n]内的数大小为[1-n],例如[1,2,2,3,3]返回[2,3],要求o(n),且不使用任何额外空间(做到了o(n),空间方面欠佳,给面试官说进入下一题,做不来了)2:原滋原味的继承(所以继承真滴很重要)3:力扣股票购买时机难度中等其他滴也忘记了,因为拿到offer后鼠鼠一下子就落地了,脑子自动过滤掉可能会攻击鼠鼠的记忆😷~~~秒过深圳客服三面:项目大战参与战斗的人员有:成员1:表单封装及其底层原理,使用成本的优化,声明式表单成员2:公司内部库生命周期管理成员3:第三方库和内部库冲突如何源码断点调试并打补丁解决成员4:埋点的艺术成员5:线上项目捷报频传如何查出内鬼成员6:大文件分片的风流趣事成员7:设计模式对对碰成员8:我构建hooks应对经理的新增的小需求的故事可能项目回答的比较流利,笔试题3道,都很简单,相信大家应该都可以手拿把掐😇~~~过过过无hr面后续煎熬等待几天直接hr打电话发offer了,希望大家也可以拿到自己心仪的offer
法力无边年:牛哇,你真是准备得充分,我对你没有嫉妒,都是实打实付出
查看19道真题和解析
点赞 评论 收藏
分享
评论
6
38
分享

创作者周榜

更多
牛客网
牛客企业服务