理想大模型实习面经

1.自我介绍
介绍项目
项目我尽量说的久,面试官中途打断了。
2.LLAMA 和 ChatGLM 的区别
Norm, mask, 激活函数 位置嵌入这四方面答
3.BatchNorm 和 LayerNorm 什么区别
后面进入快问快答。。。。很奇怪的一个环节
1. Bert 的参数量是怎么决定的
(没答上来, 不太理解这是考什么角度)
2. Transformer 的位置 embedding 怎么计算(三角函数。。。没了,就是这么快)
3. p tuning v2 和 prompt tuning 的区别
4.常用的分词方式
5.多头注意力机制和单个注意力机制时间复杂度会变吗?
6. 有了解过怎么解决灾难性遗忘吗?

还有一些小问题,有点记不住了。整体八股不难。重点还是项目。
算法题没做,让我当场写一下 pytorch 的一些常用的算法,就是看看我这些代码熟练度怎么样。我就随便写了一下 SFT 的数据预处理。
全部评论
佬,得物春招正在进行中,你要是感兴趣可以去我主页帖子投递一下
2 回复 分享
发布于 2024-03-12 14:25 陕西
面经千篇一律,大佬讲讲项目好了
点赞 回复 分享
发布于 2024-04-06 04:49 江西
感觉像是我之前遇到的一个面试官(他们面试太神秘了
点赞 回复 分享
发布于 2024-03-25 16:08 北京
你永远可以相信理想没用任何技术
点赞 回复 分享
发布于 2024-03-24 14:36 天津
佬,这是日常实习还是暑期实习
点赞 回复 分享
发布于 2024-03-09 23:16 重庆
pytorch 的一些常用的算法,指的啥,能详细讲讲吗
点赞 回复 分享
发布于 2024-03-08 09:13 安徽
m
点赞 回复 分享
发布于 2024-03-07 17:42 广东

相关推荐

1️⃣抖音一面1、聊项目。2、AUC的两种公式是?你能证明这两种等价的吗?3、BERT-CRF中,为什么要加CRF?好处是?4、self-attention为什么要用QKV三个矩阵,不用有什么问题?有没有哪个模型的Q和K矩阵是一样的?5、reinforce属于on-policy还是off-policy?为什么?6、reinforce带上baseline好处是?reinforce的loss写一下?7、策略梯度会推导吗?简单写一下?8、代码题(代码题一般别着急写,先跟面试官说下思路,确定了再写):lc 46,全排列(lc表示leetcode,下同)。lc 73,矩阵置0。2️⃣抖音二面1、介绍项目。2、知识蒸馏有哪几种?你觉得哪种效果最好?3、nlp的数据增强方法,主要有哪几种?每一种举个例子?4、分类的损失函数为什么是交叉熵而不是mse?5、BERT对输入文本的长度有什么限制,为什么要限制长度呢?6、BigBird里面有哪几种注意力机制?相比原始transformer的self-attention的优势?7、场景题:如何根据拼多多的商品数量,估计淘宝的商品数量?8、给出emb_size, max_len, vocab_size, ff_inner_size,num_heads, 12层,求BERT参数量。9、代码题:n皇后问题。3️⃣抖音三面‍1、简单聊项目。2、CRF和HMM区别?CRF为什么比HMM效果好?3、如果BERT词表很大,比如vocab_size达到几百万,怎么办?4、快速手写一些transformer的mha(多头注意力),伪代码意思一下就行。5、为什么对比学习中,temperature很小,而知识蒸馏的temperature比较大?6、你觉得在抖音买东西,和淘宝、拼多多他们的区别是?(我没在抖音买过,就只能现场编。)7、你最近看到过哪些paper?简单介绍下?8、你觉得自己有那些优缺点?平时喜欢怎么缓解压力?📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看26道真题和解析
点赞 评论 收藏
分享
✅小红书商业化部门 NLP-内容理解 4面1️⃣第一面1、n时间复杂度找出数组第K大的值说出思路了 用快排思想,不过没写出来,不过面试官还行 没写出来也让我过了然后问的比较古老的一些Nlp细节2、比如问你为啥分类任务用交叉熵,不用MSE?直接反向传播原理公式,如果用MSE 你最后可能会出现梯度消失的现象还问了LN BN的细节准备的比较到位,所以都答出来了2️⃣第二面问的我好像是概率题,没写代码1、你一个硬币,均值多少次,可以丢出正反面问项目3️⃣第三面应该是答的最好的了,项目答的应该让面试官很满意,然后代码题的话1、第一个 就是 一个矩阵,从左往右 升,从上往下升,n时间复杂度,找出target我觉得太简单了,让面试官再出了一个2、又给了一道:动态规划,最长递增子序列✅知乎:AI中台 三面1️⃣第一面1、聊项目 模型细节,attention的作用,为啥要用FFN,还有LN中间说到一个点,我说为啥要在LN重新训练两个参数,我说是不然影响性能,但是其实应该是影响泛化能力2、代码题目:找出字符串的最长回文子串2️⃣第二面要我写attention的伪代码我写了一下 不过其实还要加上Mask 忘记加了还问了我 会用rebase操作吗,我说不会。问了交叉熵的细节,到底对预测对的产生loss 还是预测错的产生作用。代码题目不太记得3️⃣第三面项目负责人,项目聊的很开心代码题没写出来,不过也让我过了1、代码题目:给我一个字符串 让我判断是不是一个数学算式阿里 高德 ✅1️⃣第一面面试官挺直接的,问了项目,然后问我只做了分类是吗,我说的是的,他说你直说就是了。。。 尴尬1、概率题 给我一个函数 可以等概率生成0-5随机数字 f5() 要我依靠这个 生成一个f7()2、给我一个生成器 随机生成01 要我等概率生成一个生成器 做一个二分判别2️⃣第二面1、P9大佬,问到我一个问题,如果你需要100W数据 你怎么去跟你上司申请你要100W数据的标注资源。或者说 你现在手里有10W标注数据,你觉得你还需要再继续增加标注数据吗我觉得这个问题是我没想到的,因为我这边业务线训练数据都是比较充足2、代码题 给你一个数组,给我n时间复杂度 生成一个数组 这个数组的每个位置的字 都等于原先数组其他位置的乘积。 思路:空间换时间🍊如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看14道真题和解析
点赞 评论 收藏
分享
评论
17
118
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务