字节AI infra校招一面面经 1h

1.双方自我介绍2.围绕项目提问，这里记一下通用问题项目开展的流程，你在其中负责哪些？用的什么推理框架？FP8 KV Cache是怎么设置的？FP8量化在prefill阶段有多少性能收益？profile用的什么工具，怎么定位性能瓶颈？还有些想不起来了，回忆起来再补充。3.开放性提问你对GPU微架构和cuda了解吗？在sm没用满的情况增加矩阵乘法的大小，为什么延时会增长？除了compute/memory bound还有哪些类型的bound，怎么定位？4.代码题岛屿数量，模版题，但是写的很艰难。面试官帮我减掉了输入处理和队列的初始化，最后写完还有点小毛病5.反问环节问了下他们部分具体是什么方向的推理优化。视频/图片生成类模型重要吗

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目拷打2.大模型推理加速办法3.压缩量化方法有哪些 量化的优点有哪些4.权重量化、激活值量化、kv cache量化都有什么好处5.kv cache原理 了解page attention吗 为什么效果好6.了解prefix cache吗7.ai应用（agent）的构建大致讲一下包含哪些模块8.手撕 一个环有10个点0-9，0开始出发，每步顺时针或逆时针走一个点，求经过n步回到0点有多少种不同走法

发一下问题给大家参考，攒攒人品！1.llama.cpp了解吗?详细说说它的特点2.对DeepSekk 671B模型进行推理时，是如何做算力分配和负载均衡的?3.大模型推理中的量化技术了解吗?常见的量化方法有哪些?4.对称量化和非对称量化的区别?5.KV cache的原理是什么?在推理中起什么作用?6.用过vLLM吗?它相比传统推理框架有什么优势?7.vLLM中的PagedAttention机制是怎么工作的?解决了什么问题?语言基础C++协程(Coroutine)的特点?C++协程有栈和无栈的区别?cpp20协程是有栈还是无栈?Vector emplace_back和push_back的区别?常量指针和指针常量的区别?算法题（easy）LeetCode经典题:走迷宫问题(DFS/BFS)

一面面经分享，差不多面了五十多分钟1. 项目深挖，问得非常详细2. 如何通过Profiling定位瓶颈？（带宽利用率、流水线空泡、指令耗时）3. Matmul分块策略4. 手撕：n! 中尾随 0 的个数5. 手撕：买卖股票的最大利润