百度、字节跳动产品社招面经

发些面经攒攒人品～～～1* FusedAttention优化怎么做的？2* 介绍一下FlashAttention3* FlashAttention数学推理公式4* RMSNorm为什么相比LayerNorm有提升？5* 现场想一个更灵活有效的显存分配方式cudaAllocator6* 整个Llama中有几个FC全连接层？7* Llama2的推理流程？每一层都有什么算子论文拷打C++：1* C++11的特性2* 智能指针3* unique_ptr 如何保证唯一性4* shared_ptr 何时析构5* 类的成员函数可以当模板吗6* 左值右值CUDA：1* CUDA有哪几种编程手段2* Tensor core 和 CUDA core的区别编程：1* 【LeetCode - 128】最长连续序列2* 【LeetCode - 340】至多包含 K 个不同字符的最长子串

大概四十分钟结束，聊家常一样项目拷打1. 你觉得现在llm推理瓶颈在哪。2. 问了我一个工作怎么建模互联的。3. 然后又对着这个工作挖了一些。4. 怎么看待未来硬件形态。5. 发文章怎么看

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目拷打2.大模型推理加速办法3.压缩量化方法有哪些 量化的优点有哪些4.权重量化、激活值量化、kv cache量化都有什么好处5.kv cache原理 了解page attention吗 为什么效果好6.了解prefix cache吗7.ai应用（agent）的构建大致讲一下包含哪些模块8.手撕 一个环有10个点0-9，0开始出发，每步顺时针或逆时针走一个点，求经过n步回到0点有多少种不同走法

今天刚完成毕业论文初稿，一直拖着没写秋招总结，来补一下，本人很菜单纯分享。bg双非本硕，研究生读的方向主要是cv相关，因为项目接触到nvidia orin一系列嵌入式板子，所以一开始实习找的方向是嵌入式AI应用，技术栈也是c++，python为主。因为项目跟orin芯片相关，被当时高通的mentor看中，运气很好找到了高通实习。实习内容跟智驾infra相关，由此接触部分ai infra知识。（由于原本一点基础没有，甚至没学过cuda）之后去b站和github上学习相关技术栈，通过傅哥的介绍视频了解到ai infra大概方向，后续便把重点方向放在推理方向（这个了解最多）。以下是秋招投递offer情况（因为过了很久，好多忘记了，记录不太准）：简历挂：vivo、寒武纪、地平线、小鹏、理想、阿里云、高德、阿里国际、平头哥(阿里系没过几个)、深信服、联发科  、商汤笔试挂：影石、大疆、淘天、饿了么（淘宝闪购）、海尔、海信一面挂：oppo ostar、荣耀、轻舟、蔚来、元戎、字节、海康终面挂：百度(百度换岗来回面了六面)泡池没泡出来：华为offer：小米相机部门infra、科大讯飞人才计划转普通批大模型推理优化岗位、高通转正最终去向：高通。虽然原部门没转正但是换部门转正了，这里非常感谢高通hr团队，高通hr真的很尽职专业，目前遇到的最好评的hr。并且高通这边做的方向个人很感兴趣，加上base也是理想base，直接决定去高通了。找工作时候非常内耗，面试阶段几乎一天两面，而且挂了这个新的面试又来了，并且面试要么一面挂要么终面挂，每天处于心态已崩和在崩的路上两种状态，好在结果个人还挺满意。秋招和实习一样，运气占一部分，剩下的就靠个人能力了，打铁还需自身硬。最后祝大伙都收获比较满意的offer。