腾讯NLP二面部分面经

面后隔了几天,只能按回忆大概写点,腾讯的八股和手撕都挺反套路的,考验理解

部分问题:

模型训练时,如果batch内的文本的长度大小不一,tokenize时以都最大长度padding会增加计算成本,如何解决?(不太确定,回答的先对文本按长度做排序,分好batch和max_seq_length,再混合不同max_seq_length的batch进行训练)

经过padding之后的文本输入,生推理时如何从原始文本最后一个位置开始预测?/ 如何获取最后一个位置的隐层?(没答上来,left-padding和right-padding的区别?使用input里的attention_mask?)

词表很大时,如何优化隐层到输出的Softmax层的计算量?(没答上来,word2vec里提出的hierachical softmax、负采样 ?)

手撕:(先出了1,不会做换了道简单些的2)

1. 使用torch的基本方法实现一个简单的RNN,输入X, Y两段文本(token_ids),得到最后一个隐层作为表征,并计算余弦距离

2. 逐行读取一个文本文件,统计词典并按词频降序输出前k个词,排序部分写归并排序。进一步问如果文件大小超出内存该怎么读?
全部评论
大佬二面过了吗
点赞 回复 分享
发布于 2024-04-06 00:52 广东

相关推荐

10-26 02:36
已编辑
四平职业大学 机器学习
介绍一下几个感兴趣的组我了解到情况:(1)蚂蚁集团:Base杭州,暑期实习的组,组里氛围很好,方向做的是:大模型推理优化+编译,但是岗位在开发序列,今年由于接了新业务,工作时长有所增加(早10晚9),之前是比较轻松(早10晚7),组里主管对我很重视,入职有机会独立负责较好的项目,并且主管的技术视野很好,有很好的技术嗅觉;(2)字节跳动:Base上海,Data推荐架构大组,小组是做国内平台垂类推荐系统的(头条、红果、西瓜等),不是主端(抖音),不过主端也是同一个大组,未来可能有机会内部活水,听面试官说的工作强度还可以,早10晚9,但是听网友说今年大组整体的变动比较大,但是心里对字节有所期待,毕竟是宇宙厂;(3)美团:Base上海,大模型基座做LoongCat的推理/算子的组,是从北斗计划流转到正式批的,没有再次面试,是一面面试官和我聊的比较好,直接从北斗那边捞回来的,LoongCat是团子目前最出名的模型吧,所以组也算比较核心;三个我都有觉得好的点,其他还有一些了解不多的offer,也请大家一块帮忙选一下,我个人觉得业务是否核心比较重要,对未来职业的发展会比较好,求各位大佬给出意见,并请各位大佬给出对应选择的理由还有小红书和腾讯还在面试流程中,不知道面过的概率大不大
我的求职进度条
点赞 评论 收藏
分享
评论
4
12
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务