关注
请问面试的什么岗呀
查看原帖
点赞 3
相关推荐
03-03 10:35
门头沟学院 机器学习 在改简历的大卫很认真:1. 训练时间估算
时间 ∝ 总FLOPs / (算力FP8/FP16 × 利用率)
总FLOPs ≈ 6 × 参数 × Token数
再除以单卡算力、并行数、利用率,就是时长。
2. Prefill / Decode 优化
- Prefill:长序列并行、FlashAttention、分块、算子融合、向量化
- Decode:KV cache、连续Batch、PagedAttention、Speculative Decoding
3. Two-batch overlap
- 同时跑两个微批次,计算/通信重叠
- 负优化:计算太快、通信太小、显存不够、调度 overhead 盖过收益
4. Megatron-LM 通信优化
TP+PP+DP三维并行;
重叠通信计算;
分桶AllReduce;
激活重计算;
减少跨节点通信量。
5. PD分离(PP+DP)为什么要KV transfer
为了流水线+数据并行一起用,提高吞吐;
虽然有KV拷贝成本,但整体能堆更大Batch、更高利用率。
6. MuON / AdamW 不能混用
优化器状态、动量、更新逻辑完全不兼容;
预训练用一个,微调换另一个,状态不匹配,直接训崩/不收敛。
7. 跨SM PD / AF 分离
核心:拆任务、提高 occupancy、隐藏延迟;
PD:并行度拆分更干净;
AF:聚焦注意力/前馈访存与计算重叠;
看模型结构、Kernel瓶颈选。
8. CUDA Global / Shared 注意
- Global:对齐、连续访问、合并访存、少随机读、用L2缓存
- Shared:防bank conflict、分块复用、同步_sync、容量控制
9. DeepSeek-V3 优化点
高效架构+长序列支持;
优化Attention/FFN计算;
更好的并行策略;
推理侧低延迟高吞吐。
10. DeepSeek-DSA/NSA/MoBA
- DSA:领域稀疏注意力
- NSA:神经稀疏注意力
- MoBA:混合专家注意力
核心都是稀疏化、省计算、扩容量。
11. NCCL 原语 & AllReduce 次数
原语:Send/Recv、Broadcast、Reduce、AllGather、ReduceScatter、AllReduce
Ring AllReduce:2次(ReduceScatter + AllGather)。
12. 小数据量 NVSHMEM vs Ring AllReduce
少了Ring多跳延迟;
直接GPU-GPU读+本地Reduce;
小数据下延迟更低、更简单。
13. 超长序列训练并行
TP+PP+CP(上下文并行)+ ZeRO;
分块Attention、分块FFN;
激活重算+KV复用;
控制通信量。
14. Ampere → Hopper 算子升级
- 用TF32、FP8、新指令
- 适配TMA、异步拷贝
- 优化Warp调度、 occupancy
- 重写Attention/MatMul,用Hopper专属优化
查看14道真题和解析 点赞 评论 收藏
分享
查看12道真题和解析 点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# Agent面试会问什么? #
18388次浏览 628人参与
# 一人分享一个skill #
4620次浏览 132人参与
# 厦门银行科技岗值不值得投 #
18088次浏览 419人参与
# 给工作过的公司写一条大众点评,你会怎么写? #
6149次浏览 98人参与
# 春招至今,你收到几个面试了? #
53325次浏览 754人参与
# 烂工作和没工作哪个更痛苦? #
14624次浏览 233人参与
# 运营每日一题 #
134068次浏览 925人参与
# 面试体验最好和最差的公司 #
17123次浏览 100人参与
# 哪些公司一直卡在简历筛选 #
98509次浏览 295人参与
# 我们是不是被“优绩主义”绑架了? #
43607次浏览 536人参与
# 拼多多工作体验 #
54685次浏览 366人参与
# AI替代不了什么? #
9691次浏览 136人参与
# 央国企投递记录 #
186820次浏览 1709人参与
# 我是XXX,请攻击我最薄弱的地方 #
71532次浏览 469人参与
# 你收到了团子的OC了吗 #
1582529次浏览 11849人参与
# 现在入门AI首先要做什么? #
3200次浏览 77人参与
# 面试尴尬现场 #
223907次浏览 868人参与
# 机械人面试中的常问题 #
266525次浏览 3686人参与
# 学历VS实习,哪个更重要? #
24877次浏览 322人参与
# 实习心态崩了 #
113244次浏览 615人参与
# 读研or工作,哪个性价比更高? #
93075次浏览 791人参与