字节大模型二面面经(持续记录!!

面试的部门是字节seedlm
二面感觉面试官很和善

面试问题:
- transformer 的 decoder 和 llama 有啥区别,他们的位置编码有啥区别? 三角函数位置编码和 ROPE 公式很像啊,他们是怎么实现不同的功能?(一个加 embedding 一个加 KQV,但是公式很像但是推理完全不一样吧,不太会答)
- 介绍一下RLHF流程,包括哪几步
- llm有哪些评估指标?如何评估模型?
- lora原理细节,为什么可以加速?什么是秩?
- reward bench上的reward model分哪几类?reward model如何训练的,训练目标是什么?
- dpo训练的损失函数和训练目标,dpo如何改进
代码题:
- 给定长度为 n+1 的数组 nums,其中元素取值范围为 [1, n],求唯一的重复数。
- 手写多头注意力mha,写完后让加位置编码(因为之前写过了,继续吟唱)
全部评论
接好运
点赞 回复 分享
发布于 06-12 22:25 北京
需要面经的戳我😋
点赞 回复 分享
发布于 04-08 12:26 上海
大佬 可以分享下面经的那些东西吗?本人一直在做大模型sa想跳,但还是想看下整理好的面经
点赞 回复 分享
发布于 04-07 14:31 广东

相关推荐

07-17 23:39
同济大学 golang
混合云异构计算工程师工作职责-建设业界领先的AI异构算力容器平台,提供 高性能、高稳定性、高易用性的百舸产品,支持AIGC、智算中心、金融-结合 SOTA 模型训练推理优化原理,深入模 型结构与设计思路,将训练推理优化手段工程 实践化,为客户提供系统性加速方案,提升训 推效率-在自研芯片上适配常见大模型,结合深度学 习训推框架特性,开发或调优相关算子,提升模型在芯片上的性能和精度表现,辅助客户进 行芯片选型和应用-针对大规模异构集群场景下,探索训推任务 管理、异构资源调度、虚拟化混布、容器存 储、高性能网络、分布式训练和推理等技术的 创新和应用-探索业界最新技术方向,参与机器学习框架 等开源社区,提升百度混合云AI核心竞争力任职资格-本科及以上学历,有一定程度的计算机相关 专业知识背景-优秀的编码能力,熟悉Golang/Python/ Java/C/C++至少一项,有扎实的算法及数据 结构基础,有良好的编程习惯。-熟悉PyTorch,了解Megatron、 DeepSpeed、vLLM、SGLang等大模型训推 框架,做过测试、开发等工作。-对GPU芯片架构有一定了解者优先,熟悉 CUDA、OpenCL等高性能计算编程经验优先,有大规模训练推理实践经验者优先-具备推理优化的深度实践经验优先: FlashAttention、PD分离、专家并行、负载均 衡、模型压缩(蒸馏/量化)、缓存策略、异 构计算加速-具备训练优化的深度实践经验优先:分布式训练、显存优化(如Zero/Offload)、计算通 信Overlap、混合精度、MoE架构调优-熟悉Kubernetes工作原理,熟悉调度器、资 源扩展机制、容器运行时、容器网络等技术, 有Kubernetes开发和维护经验优先-有独立的分析问题和解决问题的能力,有强 烈的责任心,较强的学习能力和沟通能力
投递百度等公司10个岗位
点赞 评论 收藏
分享
01 我校招准备其实非常早的,大二就开始了。但是真不算有天赋,只能说有硬撑的兴趣,连后端和服务端什么区别都说不出来是什么。口口声声说着自己喜欢编程,结果啥东西都是写不出来,一年了还在c语言这样一看现在自己变化还真的还算挺大的我所谓的天赋就是这样一个起点,所以我对我的终点已经很满意了依然记得大一转专业之前班主任对我说的话,兴趣口上说说可不行,你得那出点成果来,不是有兴趣才能擅长,而是擅长才会有兴趣其实说得非常对,越往后越觉得有道理大二那年,完全是意外,也不是因为我无聊的信息搜集能力,加入了字节跳动青训营,全球go语言第一邪教,从此踏上了不归路我还记得我当时甚至都觉得,我一直只是缺少正确的方向,指导而已,我学习能力大概是很强的。所以这样跟课程,或许我能开始改变了02事实并非如此,幻想很快就破灭了。那课程根本就听不懂,加上当时还是在家,根本学不下去啊。然后就一整个怀疑人生。那个时候还好组队遇到了很不错的队友,那个时间点主要是 文骏。我靠,当时真的是,我都不知道我当时写了什么。现在一看,当时项目基本setup是他写的,jwt鉴权这些核心模块是他写的,代码总贡献量百分之六七十。我我都不知道我干了什么,当时居然还挺有参与感的。我们当时大二还在上通识课呢,java都没机会学到。其实写完对一个后端系统有什么都没有概念,只知道说有几个接口。当时真开心啊,写出来了几个接口,极简抖音app能运行。就开心得不得了。当时也挺自卑的我也到了发朋友圈炫耀一下的程度,真的是很纯粹的快乐了根本没心思管,性能怎样,要不要扩展微服务架构,顶多关心下存储用了多少钱这些…好像早就埋下了,并非很擅长面试,喜欢研究后端的种子躺赢到决赛,因为是单挑肯定没拿奖。但是也进了决赛,也去pre了,作为第一次真的很满足了。就这样我的第一个项目就有了。看似非常耀眼的开端,其实到后面就连续好几次大落差,让我又回到怀疑自己的状态。这个后面几期再说这个其实刚结束就非常明显了,我也不记得那段时间是要干嘛了,总之我觉得我结束了其实啥都没学会03下一个转折,我遇到了 @志颜学长在大厂 。这个运气真不得了,我在这里收获太多了太多了,这位完全可以说是我后端的启蒙人。也一样是单挑青训营项目的人,不一样的是,还拿奖的了。后面知道这个事实的时候,给了我非常大的震撼,真的是超乎常人的学习能力我当时并没有任何长处,不过我要感谢我当时,可能是会个,尽量去改变的人吧。所以我用了尽我所能以不是很熟练的手段联系到了,说想一起做后期项目的完善,当时我就混进群里了。虽然我啥技术都不懂,但我还是被近乎救援一样,被慢慢拉起来了。真的,你可能难以想象,当时就是群里有讨论、会议录屏、项目启动教程视频,所有设计的记录。我靠着那一套慢慢开始了解什么是后端了。我的项目也终于有可以说的一些点了。志颜帮我太多太多了,这里就不一一列举了,这只是第一个阶段的。还有被带着一起认识的几位朋友,都大开我的眼界。他们基本拥有校招的完美规划。我只是拙劣的模仿到了 百分之二三十,也姑且终于算是走上了正道。直接就暂时跳过第一段实习期了。那个阶段,其实挺快乐的,用运气找到一个很有体验但是没学到很多知识的实习。但也可以说是大学相对很快乐的一段时间了。04然后就找从校招0阶段到1阶段了 —— 秋招前期,噩梦的开始从一实习找不到暑期,到二实习秋招没过任何中大厂简历我不知道我两段实习干了什么我也不知道我大二就出来到底在干嘛0规划 0信息搜集能力我好像什么都做不好,世界要崩塌了05那个时候我只能将就着去了第三段非大厂的暑期,但是那是一段更压抑的选择。那个阶段我遇到了 @适彼乐土 虎哥虎哥真的帮了我很多啊,除了我学的不是java带飞不了我以外,几乎能帮的全帮了基本对我那种弱智般规划能力的人,终于有了一个坚实的后盾我就真的突然觉得,我也跟牛客上的人有能去竞争的能力了怎么去规划,怎么去面试,怎么去选择反正真的,你可能无法想像我当时秋招开局2实习有多自信,然后中大厂0约面有多绝望再然后终于被救上来的时候,终于打破了第一个瓶颈的时候有多感激人生就是在起起落落中蕴含着真情06其他的话,虎哥带我进了加瓦群,里面个个都是人才,说话又好听尤其是 @offer小狗 xiansir 和 杰哥 两位对我间接影响也比较大两个人都非常正能量的,真实有在他们身上找到很多动力。此外顺便另外还有一些帮我模拟面试的牛客加的朋友,也对我有切实的帮助真的少一个人都没有今天的我,谢谢你们
给房东打工的牛马志颜:努力不一定会成功,但是越努力,一定会越幸运。正好幸运来临时,你此前的努力又让你抓住了这个机会。而我的朋友,这就是那些人口中轻飘飘的一句 “全是运气”。
点赞 评论 收藏
分享
评论
2
25
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务