阿里达摩院NLP二面凉经

投的达摩院小蜜团队，难度确实太大了

一面（50分钟）

来面试官介绍他们组情况，问我有什么想问的？
1. 问研究生期间的研究方向；
2. 研究内容有提到 DSSM，询问是否知道现在对 DSSM 的改进模型，回答不知，现在更多做的生成模型，因此问题转到生成模型；
3. 询问对生成模型的了解，发展情况，询问项目中的难点，回答解码策略，谈到了 Beam Search 和 Sample 策略。
4. CNN 模型中池化层的作用，Max Pooling 是如何反向传递梯度的。
5. 机器学习中正则化做什么的？约束模型参数，防止过拟合。
6. 正则化有 L1 和 L2 正则化，区别是什么？扯了一下解空间什么的，这一部分参看《百面机器学习》中 【L1 正则化与稀疏性】部分的内容，基本就是我遇到的问题了，我没回答上。
7. 问深度学习，Transformer 模型架构说一下？按照图结构 balabala 说下。
8. Dropout 有什么作用？类似于 Bagging 。在 Transformer 模型中 dropout 主要用在哪里？dropout 在每个子层之间，设置为 0.1。看过源码吗？看过源码，看的哈佛实现的那一版本。（面试官应该也看过这个版本，说写的很好）
9. Transformer 和 BERT 的位置编码有什么区别？
10. Transformer 用的 Layer Normalize 还是 Batch Normalize？Layer，有什么区别？...
11. 传统机器学习会哪些？决策树和 GBDT 区别说下。
12. Sigmoid 和 ReLU 区别，ReLU 解决了什么问题。
13. 怎么学统计机器学习的？看视频...
14. Python、C++、Java 哪个用的多一点？值传递和引用传递区别。
15. Python 垃圾回收了解吗？用过，细节不清楚。
16. 进程和线程区别
17. Linux 多个进程如何通信的？
18. 贪心和 DP 区别？
19. DP 的一般做法流程？
20. 开放问题，海量商家和海量语料，语料不平衡，语料对商家 group by 后按照时间排序，怎么解决。先扯了下哈希分桶，不平衡用归并排序。

二面（一小时二十分钟）

提前找阿里同学查了下背景资料，知道了面试官名字，查了下 arxiv 上有 20 篇论文，不乏各种顶会。。。。

1. 围绕个人科研方向，项目怎么做的，这个领域（DSSM语义匹配方向）这些年发展历程，有哪些模型，模型的改进是什么？

2. 上一面中提到了 NLP 中的一些预训练模型，然后这些预训练模型有什么特点？谈及了各种 Mask Language Model（BERT、GPT 等）

3. 微软 UniLM 主要为解决什么问题提出的？三个子模型分别是什么？

2. 围绕实习经历，主要是一些应用场景：一对多文本生成，从数据角度如何训练，从模型角度如何训练。

二面基本都是前沿模型+应用落地的实际问题，所以没什么好写的，但是真的很多实际问题我回答的不是很好，但是学到了挺多的，很多技术细节面试官都讲了，感觉更像是上课而不是面试。

另外现在阿里流程还显示的 面试中，还能转投其他部门吗？有大佬部门可以接收一下吗？