字节大模型日常实习一面面经

面了一个多小时，整体感觉还不错，欢迎佬交流～1.zero1232.你有没有实际对比过普通 DDP 和 ZeRO-1？比如 4 卡情况下，把 optimizer state 或 gradient 切成 shard 之后，显存大概能省多少？3.CPU offload4.BF 16 和 FP 165.在 DDP 多卡训练 中，通常一个 epoch 的定义是：所有 GPU 协同遍历一次完整数据集，且每个样本在该 epoch 内只被采样一次。但在实际训练中，我们往往是 按 step 数控制训练与保存 checkpoint 的，比如每 5000 step 保存一次模型，这样 checkpoint 很可能落在 某个 epoch 的中间。在恢复训练时，我们一般可以恢复 model optimizer lr step，但 DataLoader / Sampler 本身是无状态的，不会自动恢复到 epoch 中间的位置。在从一个 epoch 中间的 checkpoint 恢复训练时，有没有办法保证数据采样能够“无缝衔接”，继续完成当前 epoch，而不是重新打乱或重复采样数据？6.当 checkpoint 保存发生在 epoch 中间时，Trainer 是否能正确恢复 DataLoader 的采样状态？如果不能，工程上通常如何保证 resume 后的数据连续性？你是怎么实现的，是否用了 Accelerate或者huggingface 的Trainer7.DDP中当同时涉及 DataLoader 和 Sampler 时，shuffle 应该由哪一层来负责？8.PyTorch 的 DistributedSampler 内部是如何根据 num_replicas 和 rank 生成每个进程各自的数据 index 列表的？它如何在不进行进程间通信的前提下，确保多进程训练时样本划分互不重叠且覆盖完整数据集？9.GQA10.RMSNorm和LN11.在实际训练系统中，从吞吐量和资源利用的角度考虑，tokenization 更合理的放置位置是在 Dataset/DataLoader 阶段，还是作为模型 forward 前的一部分？12.手撕省份数量

文章内容收录到个人网站，方便阅读：http://hardyfish.top/多线程带来的收益往往写在压测曲线上，代价则藏在“偶发、难复现、只在生产出”的问题里。项目里遇到的坑，大多集中在并发正确性、资源治理、可观测性与性能错觉四个层面。并发正确性：最贵的是“偶发错误”数据竞争与可见性同一份共享状态被多个线程读写，既可能写丢，也可能读到过期值。最常见的表象是计数不准、状态机跳转异常、缓存命中率异常波动。根因通常是缺少互斥与内存可见性保障（例如仅靠普通变量传递“已初始化/已关闭”信号）。复合操作非原子“先检查再执行”在单线程里很自然，在多线程里就是经典竞态：余额校验后扣款、库存校验后减库存、Map...

1.了解搜索推荐相关内容吗2.例子库的创建流程3.query改写用了什么模型 为什么不用大模型4.三路召回如何做的5.为什么还要多模型做微调 数据量是多少6.deepspeed了解么如何做的7.ragas评估指标 评估流程 数据如何获取8.线上评估指标数据如何构造9.agent表格数据如何增强的 数据量是多少10.多 agent如何如何做的协作11.如何提取复杂表格信息12.如何做的 sql安全检查 检测率为多少13.上线了吗 线上如何评估 使用量是多少14.r1模型有了解么 说一下流程15.grpo算法说一下 ppo和dpo16.算法题:求根号下的数(二分)

全网最受欢迎的嵌入式面经 面经一共32篇文章，包含嵌入式面试高频必问考点，21w+同学学习，4900+订阅，非常适合在找工作面经薄弱的同学，订阅点击链接（承诺免费技术答疑）： --> 《嵌入式/C++面试题解析大全》 1、简介 本人是2020年毕业于广东工业大学研究生：许乔丹，有国内大厂CVTE和世界500强企业工作经验，整理超全面111道嵌入式面试题目答案解析（承诺提供专栏内容免费技术答疑），本专栏内容主要有：  面试过程口头提问的问题答案汇总，承诺提供免费技术答疑，以及其他的交流，如要怎么入门c++，简历如何写，算法题如何刷等等，实现校招全陪伴！  2、项目经验 如果你找的是单片机，...