投的NLP岗，被一个做视觉/多模态的组面，上来问会不会目标检测，给我整懵了😨

面后隔了几天，只能按回忆大概写点，腾讯的八股和手撕都挺反套路的，考验理解部分问题：模型训练时，如果batch内的文本的长度大小不一，tokenize时以都最大长度padding会增加计算成本，如何解决？（不太确定，回答的先对文本按长度做排序，分好batch和max_seq_length，再混合不同max_seq_length的batch进行训练）经过padding之后的文本输入，生推理时如何从原始文本最后一个位置开始预测？/ 如何获取最后一个位置的隐层？（没答上来，left-padding和right-padding的区别？使用input里的attention_mask?）词表很大时，如何优化隐层到输出的Softmax层的计算量？（没答上来，word2vec里提出的hierachical softmax、负采样 ？）手撕：（先出了1，不会做换了道简单些的2）1. 使用torch的基本方法实现一个简单的RNN，输入X, Y两段文本(token_ids)，得到最后一个隐层作为表征，并计算余弦距离2. 逐行读取一个文本文件，统计词典并按词频降序输出前k个词，排序部分写归并排序。进一步问如果文件大小超出内存该怎么读？

二面反问环节，面试官说可能会有5-6轮。有OC的大佬说说经历吗？

面试时间：3.28流程：自我介绍—>项目/八股穿插—>手撕代码（本地IDE）——>反问时长：约70分钟八股：RoBERTa的改进中文RoBERTa的分词（不过这点面试官说不了解也没关系）focal losslora原理什么情况下适合全参数微调，什么情况下适合lora微调（我答的数据量少、单一任务时更适合lora，因为lora更新的参数少，原论文没有对FFN更新，任务单一数据少时直接全参数微调容易出现灾难性遗忘/原始能力丧失。不清楚是否准确）对知识蒸馏的了解代码：beam search 先说原理再写伪代码（只需要写出搜索部分）编辑距离面的是微信输入法的岗位，业务偏传统nlp，项目问的比较多

面试时间：3.27总时长：50分左右没有自我介绍环节，上来面试官先简单介绍了下部门和面试流程（算法题—>八股—>项目—>反问），然后直接开始做题。算法题：求出多峰数组的任一个峰，要求时间O(log n)，相当于leetcode 852的多峰形式八股：机器学习中过拟合的特点和解决方法介绍一下self-attention和multi-head attentionRoBERTa相比BERT的改进focal loss相关介绍几个PEFT方法：p-tuning v2，对比v1的改进，lora总结：面试官很友善，题目没思路会一点点提示，总体体验不错，奈何本人太菜，预感要凉。