嵌入式面筋7

📍面试公司：新浪🕐面试时间：9.29💻面试岗位：大模型推理引擎工程师 一面❓面试问题：1.自我介绍2.项目2-指标提升是指吞吐量还是单个请求的token/s3.项目2-提升来自哪里（答得不会，给后面挖坑了）4.flash attention 的原理？5.项目2-用flash attention 和不用 指标差距多少（指标我是大概测得，后面要重做一下）6.项目2-是在多长序列做的测试（用了flashattention后，应该可以使用更长的序列了）7.项目2-为什么只写了decoding的提升，没有写prefill的提升（那当然是因为我没有测啊）8.项目2-什么卡，理论算力多少（不知道，已经开始冒汗了）9.项目2-nsys和ncu，你不知道理论算力，你怎么知道如何优化10.项目2-你是怎么用的ncu，看了哪些指标（只答了几个特别基础的，当时脑子跟傻了一样，啥都想不起来）11.项目2-你利用ncu，对你的算子做了什么优化（优化都是比着网上抄的，我哪里知道怎么优化啊）12.项目2-量化是调的库吗，还是自己写的？13.项目2-pageattention？是单个token还是几个token一页？14.项目2-prefix cache？15.项目2-持续批处理？16.项目2-投机解码？大小模型是什么？17.vllm用过吗（单卡用过，多卡只看过理论）18.那你讲一下多卡的TP吧（我都说没用过多卡了）19.什么时候按行来切，什么时候按列来切？（我给答反了，说成ffn按列和QKV按行了）20.按行和按列切，通信都在哪里（别问了别问了，我再去好好学一下）反问：1.我应该学什么：transformer结构要熟悉，并行要很熟悉，DP TP PP 必须很熟悉，然后多看看 ep sp一些新的，学会dense模型后，去做moe，学习跨卡的通信，比如通信和计算 overlap等。一定掌握好基础🙌面试感想：我太菜了，好好去学基础，准备春招了

卓驭 嵌入式中间件实习 面经写一写面经，回馈一下社区。⌚️timeline：五月底👋part1：自我介绍 && 项目介绍1. 项目里的内存占用，资源使用的性能评估？性能优化的思考？2. 端侧大模型的选型？3. 机器人比赛中最难的一个问题？技术方案的选择用了多长的时间？4. 之前实习的主要工作？方案是如何确定的？5. 对车载中间件的了解？6. 。。。忘了🤏part2：八股拷打1. 设计模式？平时开发有用到过哪一些设计模式吗？2. 对多态的了解？静态and动态?3. 虚函数里面父类和子类的交互？4. C++容器中vector和list的差异？5. vector的底层实现原理？扩...

T1 状态压缩 DP见图 1 到图 3T2DFS见图 4 到图 6前面的不发了，选择题几乎都在考数据结构，然后填空题全是小学奥数性质的题

1. 聊聊你做的项目，具体实现流程是怎样的？2. 数据库为什么用 B+ 树而不是红黑树？3. `new` 和 `malloc` 有什么区别？聊聊可能导致内存泄漏的场景。4. 介绍一下 STL 里常用的容器和它们的特点。5. HashMap 的底层实现原理是什么？6. 你了解哪些排序算法？如果有一千万的数据，但内存只有 1M，该怎么排序？7. 线程和进程有什么区别？什么场景下会用多线程？8. 多线程有哪些安全问题？你了解哪几种锁？9. 死锁产生的条件是什么？能写个死锁的例子吗？10. 算法题：寻找峰值。11. GET 和 POST 请求有什么区别？12. HTTP 常见的状态码有哪些，分别是什么...