字节大模型面经合集(二)

1. 大模型相关经历深挖:你项目里最核心的贡献是什么,怎么验证有效
2. 对比学习 loss:负样本和正样本拉不开/太像了,你会怎么改损失或采样
3. FlashAttention 跟普通 attention 的差异?实现里 QK^T、softmax、PV 这几步怎么落
4. 3D 并行里 DP/DDP 你怎么理解;实际落地时通信瓶颈一般卡在哪些环节
5. 14B:FP16 权重大概多大;训练还要加哪些;INT8 大概能省多少
6. torch.contiguous() 干嘛的?推理为什么在意连续性
7. 代码:读 txt 井字棋(3×3),判断当前玩家是否获胜
8. 交叉熵损失:解释/怎么写
9. 线性回归用 SGD:更新公式怎么推/怎么写

⭕如果你现在:
- 春招/秋招没方向
- 简历没人看
- 面试总挂
- 不知道怎么准备
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论

相关推荐

攒人品中,祝大家都能拿到满意的Offer!1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射,你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖,大模型生成的候选列表概率分布,如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排,现在的瓶颈不在计算而在存储带宽。如果分阶段推理,我在Prefill阶段采用了FlashAttention-3,但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重,怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型,如果我要做Speculative Decoding,你如何设计那个Draft Model?这个小模型是该学大模型的 Logits 分布,还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景:某个新入驻的土豪广告主投放了一批高质量视频,但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐,导致第一波推荐给了错误的人群,产生了极高的 Negative Feedback,生成式模型的自回归特性会不断放大这种“第一印象”,导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种,在不重新训练模型的前提下,通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后,竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣,发生了明显的 Catastrophic Forgetting,设计一种基于 Gradient Orthogonal Projection的优化器,确保模型在更新实时热点知识时,参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看,为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移
查看9道真题和解析
点赞 评论 收藏
分享
祝大家都能拿到满意的Offer!1.项目拷打2.你们这里说的分层混合编排式 Agent 架构设计是具体怎么做的3.我问一个就是你们在Routing那里,你会根据难度去做不同的一个处理,对吧?那你们这个难度是怎么划分的呢4.你刚才提到就是说,比方说如果刚开始有动态升级的一个范式,就是比方说这个任务刚开始被分配到了7B但是如果它在生成的过程当中,置信度或者说生成的结果它的置信度比较低,你们这个置信度是怎么生成的呢5.你们大概配备了多少个工具6.以风险评估为例,你们的输入输出分别是什么呢7.你的字段是什么8.比方说你说的收缩压这个字段,在用户的问题当中可能不会有这样的一个检测数据。那这种情况你们是怎么来处理呢9.我看到你这里有说在引入了应用层的MOE按照任务动态的激活专家路径,这个具体是怎么实现的呢10.这里就有个问题,我们针对不同的科室去训练一个微调专家,那你们是你们怎么训练的呢?怎么针对于不同科室去训练的,第二个问题就是逻辑上你们这个专家数量可不会少,然后你们的工作量会比较大,这个问题你们又是怎么解决的呢11.你们最终大概是用了多少个专家12.每个大概训练的数据量是多少呢13你们的这个70b模型用的是自己?从头开始预训练的吗?还是用的开源的14那你们医疗数据你们医疗数据的主要来源是在哪里呢?
查看14道真题和解析
点赞 评论 收藏
分享
评论
2
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务