claude code 和 codex

初入职场遇到的导师真的差别特别大，遇到好的导师会特别细心，主动跟你说不懂就随时问，会手把手带着你做工作，还会耐心讲公司里的各种规矩和注意事项，让人觉得特别踏实贴心，有的导师就比较一般，对你不怎么上心，也不爱多说话，只是勉强带着你完成基本工作，还有些导师更让人难受，根本不愿意教你，平时也不怎么搭理人，一有事就挑你的毛病，动不动就说你做得不好，让人上班都觉得很有压力。

面试官：你还有什么想问的吗？ 我：什么时候给我发offer？↑如果你不是很想要这份工作，也可以像我这样问。关于反问环节，很多朋友应该很迷惑，“我真没什么想问的，但是不问有点尴尬，要不问点啥吧？”我也是从这个阶段开始的，但是在我面试了众多公司的AI算法工程师后，还是总结出一些规律。我们应该先明确的是——反问环节对我们的帮助有哪些。首先，通过提问，我们可以直接或间接地获取信息。这个信息包括但不限于： 1.公司产品线，这个是相对容易问到的，例如“我了解到我们公司有xx产品，我想问下您具体是负责哪个业务的？”这个问题是一个不会出错的问题，主要是帮我们判断“这个公司做的事我真的感兴趣吗”，以及引出后续的...

面了一个多小时，整体感觉还不错，欢迎佬交流～1.zero1232.你有没有实际对比过普通 DDP 和 ZeRO-1？比如 4 卡情况下，把 optimizer state 或 gradient 切成 shard 之后，显存大概能省多少？3.CPU offload4.BF 16 和 FP 165.在 DDP 多卡训练 中，通常一个 epoch 的定义是：所有 GPU 协同遍历一次完整数据集，且每个样本在该 epoch 内只被采样一次。但在实际训练中，我们往往是 按 step 数控制训练与保存 checkpoint 的，比如每 5000 step 保存一次模型，这样 checkpoint 很可能落在 某个 epoch 的中间。在恢复训练时，我们一般可以恢复 model optimizer lr step，但 DataLoader / Sampler 本身是无状态的，不会自动恢复到 epoch 中间的位置。在从一个 epoch 中间的 checkpoint 恢复训练时，有没有办法保证数据采样能够“无缝衔接”，继续完成当前 epoch，而不是重新打乱或重复采样数据？6.当 checkpoint 保存发生在 epoch 中间时，Trainer 是否能正确恢复 DataLoader 的采样状态？如果不能，工程上通常如何保证 resume 后的数据连续性？你是怎么实现的，是否用了 Accelerate或者huggingface 的Trainer7.DDP中当同时涉及 DataLoader 和 Sampler 时，shuffle 应该由哪一层来负责？8.PyTorch 的 DistributedSampler 内部是如何根据 num_replicas 和 rank 生成每个进程各自的数据 index 列表的？它如何在不进行进程间通信的前提下，确保多进程训练时样本划分互不重叠且覆盖完整数据集？9.GQA10.RMSNorm和LN11.在实际训练系统中，从吞吐量和资源利用的角度考虑，tokenization 更合理的放置位置是在 Dataset/DataLoader 阶段，还是作为模型 forward 前的一部分？12.手撕省份数量

很多是基础八股（甚至重复）没回答上的问题：undolog的回收LRU设计碎碎念：我就看到没算法，于是四五天没摸，复习刷的话刷到dp了，lru不记得了每日一念大厂，因为鼠鼠确实很需要钱来着，一些自己想做的事不想爸妈垫钱而已