智谱Ai infra一面面经

发一下问题给大家参考,攒攒人品!
1.实习拷打
2.简述一下minmax和percentile有什么不同?
3.你还知道什么其他校准算法吗?回答kl和mse,简单讲了一下中心思想
4.在上家公司做vla的量化的时候说用了smoothquant,awq。按照量化粒度说明一下smoothquant是做的什么粒度的?了解gptq吗?他们分别的作用流程
5.上家公司一般量化到什么格式,聊到fp8,nvfp4
6.nvfp4的原理是什么样的,怎么做缩放的,在哪个维度缩放?保存的格式等
7.per-tensor/channel/group,哪个粒度更细?
8.代码实现一下minmax和percentile
全部评论

相关推荐

05-08 01:33
武汉大学 C++
个人背景:无实习,项目经验主要做KV Cache相关优化,诉求就是实习能学到硬核技术、对秋招助力最大化!Offer1:字节-推荐架构团队(抖音主站)✅工作内容主打LLM4Rec,做推荐大模型相关Infra,团队训推全栈涉及分配具体工作:推理场景超长上下文+超高QPS的KV Cache相关支持额外机会:后续感兴趣且有能力,可转推理框架方向,在vLLM里适配模型+优化,侧重算子和图优化✅优点大厂title亮眼;核心业务(抖音主站),有落地场景;算力充足❌缺点推荐大模型参数偏小;与大模型前沿技术不太沾边;偏向业务组,怕工作内容杂,担心学到的技术、积累的能力,和秋招纯大模型推理岗匹配度不高Offer2:蚂蚁-平台技术事业群-超级计算技术部✅工作内容偏中台,支持内部MasS平台,和业务距离较远基于SGLang做模型优化+部署,及时适配业界前沿模型;做PD分离相关工作,在Mooncake上优化开发核心分配任务:KV Cache优化,近期适配DeepSeek v4并做相关优化。✅优点技术更偏向业界大模型前沿,跟进最新技术速度快;组内有和SGLang合作开发的落地工作,技术栈纯Infra底层;组内管卡。❌缺点整体大厂title不如字节;怕实习生被画饼,没办法接触到真正核心的前沿技术工作。求有AI Infra实习/秋招经验的大佬们给点建议,到底该选哪个对秋招更有利啊🙏
offer帮选
点赞 评论 收藏
分享
评论
点赞
15
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务