Teleai 一面

中电信人工智能公司 大模型推理加速工程师实习生

1. vllm sglang 有什么区别?sglang相对于vllm有什么好的?sglang为什么更适配推理这类的llm?dpskr1了解吗?和基座llm有什么区别?假如要魔改vllm,可以怎么做?
2. Cuda算子开发经验,性能对比过吗?
3. 大模型量化算法原理没问(感觉默认我懂)问有没有实际部署过?有没有看过autoawq的git库?
4. Clip原理,clip推理流程了解吗?(简历里写了解过一些cv mllm方向)
5. 实习经历介绍,实现的算子性能如何?常见大模型算子优化思路有哪些?(访存优化,并行优化)
6. Ascend CANN MindIE框架有哪些组成?
7. 场景1:V100显存多少,Dpsk Qwen 32B int8量化能部署吗?怎么部署?(紧张了,int8说2比特位…)
8. 场景2:并发场景下怎么测试最大并发数,需要关注哪些指标?(答的不好)(bsz,latency 我回答的gpu利用率显存这些……面试官提示了从用户角度,我脑子没转过来)(指标含义没问,默认我懂)
9. 场景3: vllm怎么去支持自研模型?

面试官的建议:LLM有训练有推理,我们这个路子更偏向实现算法,加速算法。同样是attn,后端如何实现,如何更快。需要对算法有一定了解,对工程能力要求也挺高。我了解但是不够深入,实践经验较少。更深入去看vllm源码,应用层面怎么去调用算子,底层层面算子怎么实现的,怎么去实现更高性能算子(还提到可以从汇编层面出发)。

关于暑期:电信(或者说国企)集团有统一的校招流程,需要投简历做笔试再分发简历到用人部门,没有直接内部转正的。

个人感受:国企面试还是比较温和的,面试老师给我的感觉也是,知道你这个地方不会了,能力到这了,就不会再问了。呜呜呜,大厂全聚德的小垃圾(我)尸体暖暖的~#牛客AI配图神器#
全部评论
补后续:hr说拉垮的点,没论文,实习时间短,不是大厂,内容垃圾不深入……
2 回复 分享
发布于 03-26 17:55 北京
最后要你了吗
点赞 回复 分享
发布于 04-06 00:03 北京
是暑期实习吗
点赞 回复 分享
发布于 03-28 02:31 广东

相关推荐

央企研究院人工智能实习生招聘一、工作内容(有部分相关经验)1.推理框架应用与优化基于 TensorRT-LLM、vLLM 等主流推理框架,实现大语言模型的高性能部署;评估并优化模型在多种实际场景下的推理性能(延迟、吞吐、资源利用等)。2.端到端推理工作流设计根据业务需求,设计和开发低延迟、高并发的推理服务体系;协同前后端、算法等团队,构建完整的 AI 服务链路。3.YOLO 模型微调与部署根据项目需求,使用 YOLO 系列模型进行迁移学习和精度优化;支持模型在边缘端或服务端的高效部署与测试。4.智能体(Agent)系统开发参与智能体任务规划、决策逻辑等模块的开发;探索大模型在智能体框架中的集成与协同应用。二、招聘要求1.在校研究生或特别优秀的大四学生。2.掌握 Python、PyTorch,能够熟练运用其进行代码编写与测试。3.熟悉 Linux / Ubuntu 系统基本操作,具备独立搭建深度学习环境(如 CUDA、conda、docker 等)的能力。4.具备机器学习的基本知识,拥有一定的代码开发和调试经验。5.具备自驱力,工作态度积极主动,拥有良好的沟通能力,并有使用AI 工具辅助工作的意识。三、时间要求每周(工作日)最少实习4天,连续实习3个月以上。工作时间:早 9 点至下午 5 点。到岗时间:7月底。四、实习待遇实习薪资 280 元 / 天。五、工作地点工作地点:北京市海淀区东升科技园(不提供住宿)。如果你认为自己符合以上条件,且渴望在央企研究院开启一段充实且有意义的实习经历,请将你的简历发送至 [**********],邮件主题请注明 “实习生应聘 - 姓名 - 学校 - 专业- 年级 - 实习x个月”。期待你的加入,一起在技术研究的道路上发光发热!大模型 #找实习
点赞 评论 收藏
分享
评论
5
28
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务