2024-04-05 17:16 Nanyang Technological University 自然语言处理
关注
腾讯NLP二面部分面经
面后隔了几天，只能按回忆大概写点，腾讯的八股和手撕都挺反套路的，考验理解
部分问题：
模型训练时，如果batch内的文本的长度大小不一，tokenize时以都最大长度padding会增加计算成本，如何解决？（不太确定，回答的先对文本按长度做排序，分好batch和max_seq_length，再混合不同max_seq_length的batch进行训练）
经过padding之后的文本输入，生推理时如何从原始文本最后一个位置开始预测？/ 如何获取最后一个位置的隐层？（没答上来，left-padding和right-padding的区别？使用input里的attention_mask?）
词表很大时，如何优化隐层到输出的Softmax层的计算量？（没答上来，word2vec里提出的hierachical softmax、负采样 ？）
手撕：（先出了1，不会做换了道简单些的2）
1. 使用torch的基本方法实现一个简单的RNN，输入X, Y两段文本(token_ids)，得到最后一个隐层作为表征，并计算余弦距离
2. 逐行读取一个文本文件，统计词典并按词频降序输出前k个词，排序部分写归并排序。进一步问如果文件大小超出内存该怎么读？
部分问题：
模型训练时，如果batch内的文本的长度大小不一，tokenize时以都最大长度padding会增加计算成本，如何解决？（不太确定，回答的先对文本按长度做排序，分好batch和max_seq_length，再混合不同max_seq_length的batch进行训练）
经过padding之后的文本输入，生推理时如何从原始文本最后一个位置开始预测？/ 如何获取最后一个位置的隐层？（没答上来，left-padding和right-padding的区别？使用input里的attention_mask?）
词表很大时，如何优化隐层到输出的Softmax层的计算量？（没答上来，word2vec里提出的hierachical softmax、负采样 ？）
手撕：（先出了1，不会做换了道简单些的2）
1. 使用torch的基本方法实现一个简单的RNN，输入X, Y两段文本(token_ids)，得到最后一个隐层作为表征，并计算余弦距离
2. 逐行读取一个文本文件，统计词典并按词频降序输出前k个词，排序部分写归并排序。进一步问如果文件大小超出内存该怎么读？
全部评论
悠哉的咸鱼
深圳信息职业技术学院 算法工程师
大佬二面过了吗
相关推荐
06-12 17:46
门头沟学院 Java 
运营你豪哥：来说重点：
1.项目前置，时间倒序。
2.项目描述强化结果与量化效果（STAR原则里的R）。
3.个人技能精炼，明确掌握程度，突出核心。
4.增加强有力开头的个人总结部分。
5.优化教育背景（成绩排名）、合并奖项与活动。 点赞 评论 收藏
分享
05-23 20:59
湖南工商大学 测试开发 
影中藏刀：看得出你准备的真的很少，不过去年在这个时候我还在学ssm呢，比我要好得多呢，肯定有机会的呢，努力成为八股文战神吧
投递数字马力等公司7个岗位 点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
07-01 17:13
水中水之下水道的鼠鼠：哥们这不先去体验一下，不行再跑呗，大不了混个实习经历（有更好的转正offer就当我没说） 点赞 评论 收藏
分享