AI infra小厂实习面经

给我面没招了,感觉自己好菜、面试很难,还是要多多练习,感觉自己说不明白业务逻辑
1.说一下vllm里schedule的过程;
2.说一下vllm请求被抢占后续会怎么样;
3.说一下投机采样推理时草稿模型和主模型交互流程,vllm和sglang中的实现有什么区别;
4.说一下gptq量化、smooth quant原理;
5.介绍一下DeepSeek V3 eplb推理;
6.mla在prefill和decode时的计算复杂度区别,听说过mla矩阵吸收优化吗;
7.dsv3.2有什么创新点;
8.sglang里多模态如果开了tp,vit的image embedding在多个进程里是怎么高效复用的
全部评论

相关推荐

刚刷到字节跳动官方发的消息,确实被这波阵仗吓了一跳。在大家还在纠结今年行情是不是又“寒冬”的时候,字节直接甩出了史上规模最大的转正实习计划——ByteIntern。咱们直接看几个最硬的数,别被花里胡哨的宣传词绕晕了。首先是“量大”。全球招7000多人是什么概念?这几乎是把很多中型互联网公司的总人数都给招进来了。最关键的是,这次的资源分配非常精准:研发岗给了4800多个Offer,占比直接超过六成。说白了,字节今年还是要死磕技术,尤其是产品和AI领域,这对于咱们写代码的同学来说,绝对是今年最厚的一块肥肉。其次是大家最关心的“转正率”。官方直接白纸黑字写了:整体转正率超过50%。这意味着只要你进去了,不划水、正常干,每两个人里就有一个能直接拿校招Offer。对于2027届(2026年9月到2027年8月毕业)的同学来说,这不仅是实习,这简直就是通往大厂的快捷通道。不过,我也得泼盆冷水。坑位多,不代表门槛低。字节的实习面试出了名的爱考算法和工程实操,尤其是今年重点倾斜AI方向,如果你简历里有和AI相关的项目,优势还是有的。而且,转正率50%也意味着剩下那50%的人是陪跑的,进去之后的考核压力肯定不小。一句话总结: 27届的兄弟们,别犹豫了。今年字节这是铁了心要抢提前批的人才,现在投递就是占坑。与其等到明年秋招去千军万马挤独木桥,不如现在进去先占个工位,把转正名额攥在手里。
喵_coding:别逗了 50%转正率 仔细想想 就是转正与不转正
字节7000实习来了,你...
点赞 评论 收藏
分享
继续来分享下之前的面经~欢迎友好讨论,信息共享1️⃣算法题:手撕内存池(要求支持类似new Foo[], delete []功能),c++如何比较两个float是否相等,LRU,岛屿个数,二叉树的层序遍历,hamming weight,k-coverage intervals2️⃣torch手撕题: LoRA adapter3️⃣cuda手撕题:1- 支持torch broadcast的4D tensor的elementwise mul2- A: (1, 256),  B: (256, 128),  C: (128, 256) ,计算 (A * B) * C3- Embedding Sparse Feature Pooling:A是 100 万个离散 ID(0~999),B是 100 万个float,计算个长度为1000的float数组C,C[i] = \sum_{j s.t. A[j] = i} B[j]4️⃣ai infra或算法八股:1- llm的知识蒸馏放在预训练做是否合适2- Hopper TMA的优点,调用方式,是否需要经过L13- Flash Attention v2为什么外层对Q循环,Flash Decoding的combine kernel耗时占比大概是多少4- Mooncake kv-cache centric的PD分离5- Dit的推理框架设计思路和LLM的有什么异同6- 分析MLA decode的计算访存比,它和seqlen、batch size是否相关7- diffusion model的训练和推理步骤,推理num_inference_steps为40时,为什么训练的timesteps仍要设成10008- 介绍dLLM,如何看待它和AR的区别9- torch.repeat 和 torch.expand的区别10- torchrun的启动参数有哪些,如何在Linux上批量kill包含torchrun的进程
查看21道真题和解析
点赞 评论 收藏
分享
评论
点赞
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务