深度学习哪里有好的教程？？

面了一个多小时，整体感觉还不错，欢迎佬交流～1.zero1232.你有没有实际对比过普通 DDP 和 ZeRO-1？比如 4 卡情况下，把 optimizer state 或 gradient 切成 shard 之后，显存大概能省多少？3.CPU offload4.BF 16 和 FP 165.在 DDP 多卡训练 中，通常一个 epoch 的定义是：所有 GPU 协同遍历一次完整数据集，且每个样本在该 epoch 内只被采样一次。但在实际训练中，我们往往是 按 step 数控制训练与保存 checkpoint 的，比如每 5000 step 保存一次模型，这样 checkpoint 很可能落在 某个 epoch 的中间。在恢复训练时，我们一般可以恢复 model optimizer lr step，但 DataLoader / Sampler 本身是无状态的，不会自动恢复到 epoch 中间的位置。在从一个 epoch 中间的 checkpoint 恢复训练时，有没有办法保证数据采样能够“无缝衔接”，继续完成当前 epoch，而不是重新打乱或重复采样数据？6.当 checkpoint 保存发生在 epoch 中间时，Trainer 是否能正确恢复 DataLoader 的采样状态？如果不能，工程上通常如何保证 resume 后的数据连续性？你是怎么实现的，是否用了 Accelerate或者huggingface 的Trainer7.DDP中当同时涉及 DataLoader 和 Sampler 时，shuffle 应该由哪一层来负责？8.PyTorch 的 DistributedSampler 内部是如何根据 num_replicas 和 rank 生成每个进程各自的数据 index 列表的？它如何在不进行进程间通信的前提下，确保多进程训练时样本划分互不重叠且覆盖完整数据集？9.GQA10.RMSNorm和LN11.在实际训练系统中，从吞吐量和资源利用的角度考虑，tokenization 更合理的放置位置是在 Dataset/DataLoader 阶段，还是作为模型 forward 前的一部分？12.手撕省份数量

ai应用开发作为新兴岗位，许多同学对于其岗位构成，岗位职责等都尚有些模糊，因此我将我在相关实习中的工作内容进行简单总结，抛砖引玉，以期能对大家有一些帮助。项目背景 我在公司中做的最主要的项目即合同文档智能审核系统，这个是企业风控及降本增效的核心组件之一，传统Java微服务架构下，敏感词审核、错别字校验、风险分析等模块存在服务耦合度高、AI能力集成成本高、策略调整需全量发布的问题。MCP（Model Context Protocol）作为标准化工具调用协议(即JSON-RPC协议)，结合multi - Agent架构可实现工具层与业务逻辑层解耦，既保留微服务模块化优势，又提升系统对AI能力的适配...

整体感觉还是不错的，发一下问题供大家参考～八股吟唱：1、Pretrain、SFT、RLHF区别（目标、任务定位和解决的问题？）2、为什么偏好对齐不能直接用偏好数据做 SFT，而用RL3、Pretrain和 SFT 在优化目标上的区别4、SFT的loss是什么，若target有10或100个token，loss如何计算5、SFT 样本（含 prompt）与预训练样本在计算 Loss 时的区别，如何屏蔽prompt的Loss6、控制生成多样性的参数有哪些？怎么控制的？7、top-k与top-p 区别8、除了贪心，还有哪些生成策略？9、你对多模态的理解？10、最近读了什么论文？论文的核心亮点是什么？11、PPO和GRPO的结构区别，各自适用的场景？12、DAPO、GSPO具体做了什么改进？13、是否了解 Swift？DeepSpeed 与 Megatron 的区别手撕算法：交叉熵、Softmax、Self-Attention力扣139题 Word Break变种

最近影石的秋招真是让我心潮起伏，虽然之前已经决定放弃，但影石的抬价让我又重新燃起了希望。所以，我决定分享一下我的面试经历，希望能帮到同样在准备秋招的小伙伴们。一面面经： 💪一面的面试官真是技术大咖，问题一个接一个，完全没有停下来的意思。以下是我被问到的一些问题：为什么选择MNN推理框架？有没有调研过其他的？模型从训练到端侧用MNN作推理的流程是什么？实习任务中，int8和半精度的性能提升明显吗？MNN的具体实现和优化策略是什么？双线性插值的4个点的权重如何分配？仿射变换用了什么NEON指令集，做了什么运算？ax+b用矢量去做加速，会用哪条指令？HWC和CHW以及NC4HW4的区别是什么？如果...