大模型推理部署工程师

1、构建AI云推理架构：​​ 探索PD分离、KV池化、通信优化等技术，设计并实现适用于AI原生的分布式推理服务架构，应对高并发、低延迟挑战。 2、​开发核心推理平台能力：​​ 打造AI原生网关及高可用系统，核心技术点包括但不限于：异构资源调度、身份认证与鉴权、请求智能限流、动态模型路由、推理容器/镜像加速、安全变更管控、系统深度可观测性等。 3、参与推理全栈应用实践：​​ 积极涉足推理服务上下游应用开发，如构建RAG（检索增强生成）系统、探索提示词工程优化实践、参与AI模型市场（MCP）建设或AIGC应用落地等。

1、教育背景：​​ 计算机科学、软件工程、人工智能或相关STEM领域的硕士及以上学历。 2、技术基石：​​ 2a、扎实的计算机科学基础和良好的工程实践能力； 2b、精通至少一种主流编程语言（如Python，C++），具备出色的编码和调试能力。 2c、熟悉主流大模型推理引擎和优化技术（如 vLLM, SGLang, TensorRT-LLM等）。 3、经验优先：​​ 3a、拥有云计算系统、机器学习平台、分布式计算、中间件等领域的相关开发或落地经验者优先。 3b、在机器学习/系统领域顶级会议（如 ATC，ASPLOS, OSDI, MLSys，WWW等）发表论文。 3c、作为核心贡献者深度参与知名开源项目，如 vLLM, SGLang, TensorRT-LLM等。 3d、在相关国际竞赛中取得突出成绩。 4、软性素质：​​ 4a、沟通协作：​​ 具备出色的沟通表达能力和高效的团队协作精神。 4b、​技术追求：​​ 对技术有强烈的好奇心与钻研精神，追求卓越。 4c、解决问题：​​ 具备优秀的自驱力，能主动发现问题、分析问题并创造性地解决问题。