腾讯NLP二面部分面经

面后隔了几天，只能按回忆大概写点，腾讯的八股和手撕都挺反套路的，考验理解

部分问题：

模型训练时，如果batch内的文本的长度大小不一，tokenize时以都最大长度padding会增加计算成本，如何解决？（不太确定，回答的先对文本按长度做排序，分好batch和max_seq_length，再混合不同max_seq_length的batch进行训练）

经过padding之后的文本输入，生推理时如何从原始文本最后一个位置开始预测？/ 如何获取最后一个位置的隐层？（没答上来，left-padding和right-padding的区别？使用input里的attention_mask?）

词表很大时，如何优化隐层到输出的Softmax层的计算量？（没答上来，word2vec里提出的hierachical softmax、负采样 ？）

手撕：（先出了1，不会做换了道简单些的2）

1. 使用torch的基本方法实现一个简单的RNN，输入X, Y两段文本(token_ids)，得到最后一个隐层作为表征，并计算余弦距离

2. 逐行读取一个文本文件，统计词典并按词频降序输出前k个词，排序部分写归并排序。进一步问如果文件大小超出内存该怎么读？