实习

楼主实习都是做的AI Infra，主要是大模型推理，在N卡上做vLLM和sglang的二次开发、简单算子开发、pytorch开发。本身秋招投的都是云侧大模型开发，但是也收到了一些其它稍微有点偏的方向的offer，所以非常纠结，想问各位大佬怎么看。1. 百度飞桨：百度飞桨框架的开发。技术上应该很不错，但毕竟飞桨生态不太行，且百度在走下坡路？2. 字节TT中台：感觉似乎非常核心，但是面试强度并不高，所以担心是不是有坑。且是偏传统推荐模型，而非大模型，和本身的预期有些偏差。但是TT背书很强？3. 腾讯太极：腾讯内部机器学习平台GPU推理训练框架开发，但是偏k8s后端，而非大模型推理加速本身，只是可能他们需要懂vllm和sglang的人。但是同部门似乎也有做ai infra的组，或许未来可以转？4. 阶跃星辰：端侧大模型infra。整体都挺好的，公司和政府绑定，端侧前景应该不错，只是需要从云转端。另外校招就去初创会不会不太好？5. 拼多多：gpu上具体vllm的infra开发，技术上很对口，聊的过程也感觉很好。优点就是匹配且钱非常多，缺点就是确实似乎有点太累了。目前的offer情况就是，业务非常对口的要么是中小厂（没有列出，但是也不是那种实力很差的小厂，而是一些大佬云集的初创，但是整体风险会更高，且应该没有很成熟的校招生培训体系），要么是拼多多（太累）。大厂要么是飞桨这种生态比较差的，要么是字节TT这种完全不是做大模型的，甚至腾讯这边是做传统后台开发的。所以非常纠结，想听听大佬们的看法。

30分钟速通，纯项目无八股。1.投机解码？大小模型怎么做选择，微调过吗？2.Cuda算子做了哪些优化？（但是没问具体做了什么优化）3.你的项目中Dense和Moe模型推理实现起来有什么区别？EP？4.在实验室做啥的？这时候过了20分钟，然后给了一道题，挺简单的看完直接说思路。本来想写一下感觉时间不太够就直接口述详细过程了。只开了30分钟的会议，大部分也都答出来了。应该不会凉凉吧

不知不觉已经快到实习结束的日子了，在字节实习的感受如同破茧一般，只有经历痛苦才能成长，或者说是成长一定会痛苦。我本身一名cpp选手，来到字节写go与Java，实在是一种奇妙的感受；进来字节的第一天我还不会写SQL，现在也能很熟练的使用SQL辅助开发了。；从呆呆小白成长到在独自负责一个项目模块，并对整个项目组进行了一次技术分享；赶上公司年中团建，和同事们一起打牌……  真的是经历了好多这里友友们可以随意提问题，鼠鼠一定尽力解答。

lz是985本硕，求职方向是JAVA后端，最近在考虑华为的几个部门，主要有以下三个：1、2012中软。相对wlb，但我是硕士，不知道进去会不会背低绩效。2、终端云服务。终端相对就比较累了，当然不同部门情况也不一样。联系了一个hr说是135加班到9点，其余正常下班。3、海思昇腾开发。部门主要做算子开发的。但听说海思职级给的低，硕士很多13，而且晋升慢。