ai infra字节实习二面

ai infra八股：1- 给定训练所需的Tokens，怎么估计模型训练所需的完整时间？2- Prefill和Decode阶段各有什么优化技术？3- 什么是Two-batch overlap，什么场景Two-batch overlap是负优化？4- megatron-lm中通信优化怎么做？5- 多机PD分离会有KV cache transfer开销，为什么还要做PD分离？6- muon和AdamW的pretrain和posttrain为什么不能混用？7- 如何看待跨SM的PD分离和AF分离？8- cuda的global memory和shared memory访存分别需要注意什么？9- deepseek-V3的优化点10- deepseek-DSA和NSA，MoBA的区别11- nccl中的通信源语有哪些？all-reduce参数更新一次参数需要几次通信？12- 在小数据量场景使用NVSHMEM，每个GPU直接读取其他GPU的数据，在本地reduce，相比ring all-reduce的好处13- 训练时如何设计超长序列下的并行14- 将Ampere架构的算子适配到Hopper架构的卡上，你会对哪些地方进行升级改造？

1. 项目中遇到的问题及解决方案2. 多线程结构从有锁到无锁的改进点消除锁竞争、线程阻塞与上下文切换使用原子操作 atomic 替代锁使用 CAS 实现无锁更新无锁队列/环形缓冲区线程数据隔离，减少共享资源避免死锁、优先级反转3. unique_lock 和 lock_guard 的共同点和区别共同点：都是 RAII 风格，自动加锁、自动解锁防止异常导致死锁区别：lock_guard：轻量、无额外开销、不能手动解锁unique_lock：灵活、支持手动 lock/unlock、可转移所有权、可配合条件变量、性能略低4. 项目场景相关问题5. 实习相关问题6. 是否熟悉 CUDA 编程了解核函数...

目前在一家中厂实习两个月了，想暑假二段实习冲击大厂实习经历还没想好怎么写，平常做的部署算法，测试算法，测试和优化autoware的功能包代码比较多