字节 大模型算法 一二三面 面经

不得不说字节效率真高

一面
拷打论文
transformer和llama的LN有什么区别,手写RMSNorm
FFN有什么不同,写Relu和SwiGLU
数据清洗流程
质量过滤用什么模型
PPL公式是什么
BERT的预训练任务、embedding
讲讲位置编码
你认为好的prompt的范式是什么
开放性问题:端到端的大模型和多个小模型,各自的优缺点是什么
手撕:两道easy
当天约面

二面
拷打论文
介绍模型
数据清洗流程
采用什么样的策略、什么样的数据才会便于模型学习
数据配比能说下思路吗
主流LLM模型结构设计有什么特点
如何评估LLM
训LLM最大的困难是什么
前沿LLM有了解哪些
工具调用怎么实现
国内LLM有了解哪些
LLM推理能力的天花板现在是什么程度
无手撕
面我1h,口干舌燥
当天约面

三面
问硬件、硬件利用率
讲讲deepspeed几个阶段,分别分片什么、代价是什么
模型训练时间如何估计
DP和DDP的区别
最多用过多少张卡
训练过程如何做模型监控
数据配比怎么量化才是一个好的方案
讲一下预训练数据处理
预训练和SFT如何评估
encoder-decoder、encoder、decoder区别
讲一下文本输入大模型到输出的过程
decoding策略
大模型结构有哪些变化
拷打论文
手撕:cross-attention

部门就不开盒了,仅供参考
另外,秋招真是太耽误打游戏了
不说了,猿神,启动!
全部评论
猜是电商
2 回复 分享
发布于 2024-08-21 23:32 黑龙江
字节的一面还是这么爱问八股😄
2 回复 分享
发布于 2024-08-21 11:39 北京
这个 RMS NORM 和 reliable swilu 手写是写代码还是公式呀
2 回复 分享
发布于 2024-08-21 01:52 北京
想问一下:LLM推理能力的天花板现在是什么程度 这个怎么回答好一些呀
点赞 回复 分享
发布于 2024-10-02 16:12 加拿大
主流LLM模型结构设计有什么特点 这个怎么回答呀,大佬?
点赞 回复 分享
发布于 2024-09-22 17:41 美国
数据配比这个怎么答呀
点赞 回复 分享
发布于 2024-09-04 21:02 北京
求问prompt范式是什么
点赞 回复 分享
发布于 2024-08-26 20:40 天津
代码占比大吗,感觉除了手撕部分,其他都蛮简单😂,手撕估计得稍微看下底层源码了
点赞 回复 分享
发布于 2024-08-24 10:16 广东
优秀
点赞 回复 分享
发布于 2024-08-23 18:40 北京
太强了
点赞 回复 分享
发布于 2024-08-21 23:12 广东
几天速通啊佬😂
点赞 回复 分享
发布于 2024-08-21 21:10 北京
请问是电商吗
点赞 回复 分享
发布于 2024-08-21 14:46 广东

相关推荐

1️⃣抖音一面1、聊项目。2、AUC的两种公式是?你能证明这两种等价的吗?3、BERT-CRF中,为什么要加CRF?好处是?4、self-attention为什么要用QKV三个矩阵,不用有什么问题?有没有哪个模型的Q和K矩阵是一样的?5、reinforce属于on-policy还是off-policy?为什么?6、reinforce带上baseline好处是?reinforce的loss写一下?7、策略梯度会推导吗?简单写一下?8、代码题(代码题一般别着急写,先跟面试官说下思路,确定了再写):lc 46,全排列(lc表示leetcode,下同)。lc 73,矩阵置0。2️⃣抖音二面1、介绍项目。2、知识蒸馏有哪几种?你觉得哪种效果最好?3、nlp的数据增强方法,主要有哪几种?每一种举个例子?4、分类的损失函数为什么是交叉熵而不是mse?5、BERT对输入文本的长度有什么限制,为什么要限制长度呢?6、BigBird里面有哪几种注意力机制?相比原始transformer的self-attention的优势?7、场景题:如何根据拼多多的商品数量,估计淘宝的商品数量?8、给出emb_size, max_len, vocab_size, ff_inner_size,num_heads, 12层,求BERT参数量。9、代码题:n皇后问题。3️⃣抖音三面‍1、简单聊项目。2、CRF和HMM区别?CRF为什么比HMM效果好?3、如果BERT词表很大,比如vocab_size达到几百万,怎么办?4、快速手写一些transformer的mha(多头注意力),伪代码意思一下就行。5、为什么对比学习中,temperature很小,而知识蒸馏的temperature比较大?6、你觉得在抖音买东西,和淘宝、拼多多他们的区别是?(我没在抖音买过,就只能现场编。)7、你最近看到过哪些paper?简单介绍下?8、你觉得自己有那些优缺点?平时喜欢怎么缓解压力?📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看26道真题和解析
点赞 评论 收藏
分享
评论
49
259
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务