推理部署优化/高性能开发 春招总结-1

发一下问题给大家参考，攒攒人品！1. 项目相关的访存优化问题2. 算子融合的实现难点3. 负载均衡问题4. 如何判断优化是否到瓶颈了5. 常见量化策略

继续来分享下之前的面经~欢迎友好讨论，信息共享1.Go 的 tag 映射如何实现的2.反射3.Slice 和 array 扩容机制4.Map 实现机制，遍历无序，如何实现一个有序的 map5.介绍 gmp  能说多少说多少6.Tcp udp http https7.输入一个网址的访问流程8.Send write mmap sendfile 内核缓冲区和用户缓冲区磁盘读缓冲区？9.进程协程线程10.Informer 的原理11.Docker 实现原理12.容器如何做到 pid 隔离的如何关闭

攒攒人品！有面试过同岗的朋友欢迎评论区交流1. 聊项目2. 聊一下chunk prefill，他是为了解决什么问题而提出的3. 说一下reduce-scatter和all-to-all通信4. 怎么减少launch kernel overhead5. cuda编程中bank conflict是什么，怎么解决？6. 场景题：一个大集群中有节点内有nvlink，节点间部分机器有rdma，怎么去设计你的分布式推理方案代码题：k个一组翻转链表

发些面经攒攒人品～～～1* FusedAttention优化怎么做的？2* 介绍一下FlashAttention3* FlashAttention数学推理公式4* RMSNorm为什么相比LayerNorm有提升？5* 现场想一个更灵活有效的显存分配方式cudaAllocator6* 整个Llama中有几个FC全连接层？7* Llama2的推理流程？每一层都有什么算子论文拷打C++：1* C++11的特性2* 智能指针3* unique_ptr 如何保证唯一性4* shared_ptr 何时析构5* 类的成员函数可以当模板吗6* 左值右值CUDA：1* CUDA有哪几种编程手段2* Tensor core 和 CUDA core的区别编程：1* 【LeetCode - 128】最长连续序列2* 【LeetCode - 340】至多包含 K 个不同字符的最长子串