字节跳动 AI Infra实习 timeline

本人学院本双非硕。本科专业是 SE，目前研 0 想做算法或 infra，但是学校能做算法的只有 10% 吧，没听说过做 infra。但是自己对 AI 方面的可以是说是 0 经验，只做过一个数据竞赛的比赛 auc0.8+。本人很焦虑，害怕 all in 之后没有岗位（本科死磕 Java 开发未果）。友友们有什么建议么？

先做代码题，再深挖算子优化、图融合和量化这场阿里一面整体给我的感觉是，节奏比较紧，前面先处理了一个在线代码题，后面基本都是顺着项目经历往下深挖。代码题是“队列的最大值”，要求均摊 O(1) 地返回当前队列最大值，我当时用的是普通队列加单调双端队列这套常见思路：一个队列维护正常入队出队，另一个双端队列维护当前可能成为最大值的候选元素。这个题本身不算特别难，但相当于是先热一下身，也看你对基础数据结构是不是熟。后面的主体还是项目追问，而且问得挺细。面试官先从我做过的算子优化、图优化这些经历切进来，重点问的是：你到底怎么判断哪些地方值得优化，哪些算子值得单独提出来做性能优化，哪些链路值得做融合。我当时...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. 拷打项目2. 有没有了解过AF分离，他是为了解决什么问题，既然有PD分离了，为什么还要AF分离？3. 有没有读过flash attention的代码，V2比起V1做了哪些改进？细聊一下他是怎么改进的。有没有了解最近的V4版本？4. 大模型的一层有几个线性层？TP的时候怎么切的？这样子做的原因是什么？有什么思路优化中间的allreduce吗？5. 看过ray的底层实现吗？它有什么特性，你的课题研究中是怎么使用ray的？6. 聊一下你所找到的cuda gemm的优化方法7. leetcode 单词接龙

这一轮更偏大模型、量化和推理基础理解这场蚂蚁 AI Infra 三面，整体感觉和前两轮又不太一样。前两轮更多是在深挖我已经做过的项目，这一轮虽然也会问项目，但明显更关注我对大模型推理、量化、KV Cache、attention 这些基础问题到底理解到什么程度。开头还是先做自我介绍，我主要讲了自己现在在做的几个方向：一段偏工程化的软件开发经历，一段偏算子和图优化的实习经历，以及自己在做的一个基于 Python extension 的量化推理 runtime 小项目。这一轮项目部分问得相对直接。面试官先让我展开讲了自己做的那个量化推理 runtime。我这边讲的是，基于一个开源 runtime 做...