运筹优化算法 暑期实习offer情况

攒人品中～ 1.介绍一下Transformer的架构，和传统RNN循环神经网络相比有何优势2.Transformer中参数都分布在哪里，参数量最大的是哪部分?计算量最大的是哪部分，为什么?3.了解GPU的cudacore、Tensorcore吗，你常用的GPU有哪些，他们的显存和显存带宽有多大?4.讲讲大模型的量化，讲量化算子5.详细讲pd分离6. 详细讲paged atten7.LC25题:K个一组翻转链表8.写cuda算子:前缀和。实现一个base的，讲优化方法9.写cuda算子gemm:实现一个base的，讲优化方法

ai infra八股：1- 给定训练所需的Tokens，怎么估计模型训练所需的完整时间？2- Prefill和Decode阶段各有什么优化技术？3- 什么是Two-batch overlap，什么场景Two-batch overlap是负优化？4- megatron-lm中通信优化怎么做？5- 多机PD分离会有KV cache transfer开销，为什么还要做PD分离？6- muon和AdamW的pretrain和posttrain为什么不能混用？7- 如何看待跨SM的PD分离和AF分离？8- cuda的global memory和shared memory访存分别需要注意什么？9- deepseek-V3的优化点10- deepseek-DSA和NSA，MoBA的区别11- nccl中的通信源语有哪些？all-reduce参数更新一次参数需要几次通信？12- 在小数据量场景使用NVSHMEM，每个GPU直接读取其他GPU的数据，在本地reduce，相比ring all-reduce的好处13- 训练时如何设计超长序列下的并行14- 将Ampere架构的算子适配到Hopper架构的卡上，你会对哪些地方进行升级改造？

给我面没招了，觉得自己好菜...1. 先问fp42. 量化的矩阵乘维度3. 先问硬件怎么做量化的。4. 量化的硬件需要啥5. 问了一些gpu的问题。6. 怎么分析系统瓶颈。7. 问了flash attn。7.1 有什么用？7.2 矩阵维度推导。7.3 k包不包含q的那个17.4 多头多batch怎么并行

浅谈一下，个人理解跑路互联网几大岗位学习路径🎇非技术岗产品+运营：业务八股，主要是实习，办公软件使用，软实力更多一点，学历和实习其中产品需要：prd，原型图，sql入门就行，主要是查询语句，几个小时的速成即可，excel的vlookup等，从0-1入门产品经理的网课，运营需要：主要还是偏软实力的运营相关课程数分：sql（黑马，python，bi画图工具+业务八股，ab实验之类的，也是主要是实习，学历和实习 40hAi产品：python，pytorch，机器学习，深度学习理论与实战，大模型相关基础知识，transform架构和知识，业务知识 学历和实习 60h风控策略：s数分的技能点还要对应的信贷的业务知识背景 学历和实习🔧技术岗：学习门槛比较少的搜广推，python，pytorch，spark，机器学习+深度学习，小土堆，李沐，吴恩达，李宏毅，王树森推荐系统，kaggle项目， 学历和实习 80h风控算法，python，机器学习和深度学习，相关业务知识和项目 80h数开数仓：java，python，linux，sql，这些是基础的，进阶的：hadoop，hive，spark，kafka，flink，zookeep，数仓建模理论，阿里大数据，bi，tb可视化，几个项目，尚硅谷或者黑马，可选的：redis，hbase，monggodb 200h大模型应用开发：python，java，机器学习深度学习，rag，mcp，agent，langchain，langgraph，大模型微调 150h大模型算法：学历实习论文，python，机器学习和深度学习，nlp，损失函数、数据处理，预训练，大模型结果评估，监督微调sft，人类偏好对齐rlhf，高效微调lora等，强化学习，经典的大模型架构，例如gpt，qwen，创新的架构，框架应用，性能优化deepseed，模型量化，检索增强rag，agent，其他：模型压缩，技术报告 300h （校招故事会）核心精简版：python，机器学习和深度学习，llm的前置知识和理论，transformer，预训练的知识，tokenization，rope，归一化，flashattention，后训练，sft，lora微调，rlhf，rag，agent数据科学数据挖掘：低配版算法，sql，python，机器学习和深度学习，业务知识开发大类（含前后端测试）：暂未整理全部都是：一两个项目，学历，专业尽量对口，跨专业也可以，主要看实习，大模型这一块还看论文，八股，有代码的还要准备手搓代码，力扣hot100，然后刷实习