字节 大模型算法 一二三面 面经

不得不说字节效率真高

一面
拷打论文
transformer和llama的LN有什么区别,手写RMSNorm
FFN有什么不同,写Relu和SwiGLU
数据清洗流程
质量过滤用什么模型
PPL公式是什么
BERT的预训练任务、embedding
讲讲位置编码
你认为好的prompt的范式是什么
开放性问题:端到端的大模型和多个小模型,各自的优缺点是什么
手撕:两道easy
当天约面

二面
拷打论文
介绍模型
数据清洗流程
采用什么样的策略、什么样的数据才会便于模型学习
数据配比能说下思路吗
主流LLM模型结构设计有什么特点
如何评估LLM
训LLM最大的困难是什么
前沿LLM有了解哪些
工具调用怎么实现
国内LLM有了解哪些
LLM推理能力的天花板现在是什么程度
无手撕
面我1h,口干舌燥
当天约面

三面
问硬件、硬件利用率
讲讲deepspeed几个阶段,分别分片什么、代价是什么
模型训练时间如何估计
DP和DDP的区别
最多用过多少张卡
训练过程如何做模型监控
数据配比怎么量化才是一个好的方案
讲一下预训练数据处理
预训练和SFT如何评估
encoder-decoder、encoder、decoder区别
讲一下文本输入大模型到输出的过程
decoding策略
大模型结构有哪些变化
拷打论文
手撕:cross-attention

部门就不开盒了,仅供参考
另外,秋招真是太耽误打游戏了
不说了,猿神,启动!
全部评论
猜是电商
2 回复 分享
发布于 2024-08-21 23:32 黑龙江
字节的一面还是这么爱问八股😄
2 回复 分享
发布于 2024-08-21 11:39 北京
这个 RMS NORM 和 reliable swilu 手写是写代码还是公式呀
2 回复 分享
发布于 2024-08-21 01:52 北京
想问一下:LLM推理能力的天花板现在是什么程度 这个怎么回答好一些呀
点赞 回复 分享
发布于 2024-10-02 16:12 加拿大
主流LLM模型结构设计有什么特点 这个怎么回答呀,大佬?
点赞 回复 分享
发布于 2024-09-22 17:41 美国
数据配比这个怎么答呀
点赞 回复 分享
发布于 2024-09-04 21:02 北京
求问prompt范式是什么
点赞 回复 分享
发布于 2024-08-26 20:40 天津
代码占比大吗,感觉除了手撕部分,其他都蛮简单😂,手撕估计得稍微看下底层源码了
点赞 回复 分享
发布于 2024-08-24 10:16 广东
优秀
点赞 回复 分享
发布于 2024-08-23 18:40 北京
太强了
点赞 回复 分享
发布于 2024-08-21 23:12 广东
几天速通啊佬😂
点赞 回复 分享
发布于 2024-08-21 21:10 北京
请问是电商吗
点赞 回复 分享
发布于 2024-08-21 14:46 广东

相关推荐

大模型就业方向主要有两个:大模型应用和基座大模型。基座大模型的特点是要求高,招收的人数少,真正做基座的公司也不多。所以大模型应用反而是大部分同学实际工作的方向,大模型应用的覆盖范围广,相对要求低一些。🌟大模型应用的方向:✅搜索推荐广告:生成方向,比如自动化生成图片和视频;文本方向,比如相关性;其他方向,比如搜索推荐中的召回,重排序;✅AI 原生方向:主要是基于大模型出来的新 app ,比如豆包,元宝,夸克, Kimi 等;·和 LLM 更加匹配的方向:比如智能客服,比如 chatApp ;✅传统行业:很多传统行业,比如食品公司,MCN公司都在做 AI 转型,期望 AI 给原有行业带来新的机会;✅具身智能:机器人公司,比如宇树智能。🌟大模型应用的要求:1.大模型的基础流程:预训练,后训练等基本流程要了解;自回归和基于 Diffusion 的训练方法;2.RAG :文本拆解的方法;召回模型和优化,排序模型和优化; RAG 模型和生成联合优化;3.Agent :基本原理,比如 Plan , Memory , Tool - Use ;如何优化比如 Tool 的使用, Plan 能力的加强; MCP 协议的原理等;4.多模态:多模态大模型的基本方法,领域内多模态能力如何加强🌟大模型应用招聘要求:2025年,任何方向,要有项目,且有一定的深度或者创新;或者本人的简历很好(比如 Top 985,论文等)。📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
点赞 评论 收藏
分享
点赞 评论 收藏
分享
评论
49
259
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务