秋招回顾3：携程算法岗面经

背景：主研多模态分类领域，秋招主要投NLP和多模态方向的算法岗，如果机器学习的岗位描述和我相符也会投

流程：投递岗位为算法工程师-NLP方向，投递时间n，笔试时间是m=n+14，一面时间是k=n+26=m+12，over

一面 30min：

1. 自我介绍
2. 挑一个具有代表性的项目说一下
3. 对项目细节进行提问，某个地方怎么实现的，为什么这么实现
4. 可以解释一下熵吗，它的公式怎么算的？拿到一个BERT的base版本的原始模型，训练的时候，第一个epoch模型的判定结果很可能是错的，这个时候熵还可信吗？
5. 交叉熵和KL散度有什么关系？（以上3-5都是针对2讲的项目提的问）
6. BERT的缺点？可以从预训练方法角度解答。（MLM：静态MASK和动态MASK）（回答出了：最大长度/静态编码和动态编码）RoBERTa相比BERT有哪些改进？BERT的输入有哪几种Embedding？你有了解其他模型去尝试解决长度限制的方案吗？
7. 回到项目进行一些实操角度的提问，代码是你写的嘛？是pytorch还是tensorflow？用过bert4keras嘛？
8. BERT是怎么缓解梯度消失的？（残差和归一化）归一化用的什么？（层归一化）LN和BN的区别？