大模型云侧推理优化工程师(A182856)

1.针对大模型在云侧的推理性能进行分析和优化，提升模型的响应速度和吞吐量； 2.负责大模型在云侧的部署方案设计与实施，包括模型的压缩、量化等技术的应用，确保模型在云环境中高效运行； 3.与算法团队、工程团队紧密协作，理解模型特性和业务需求，共同制定推理优化策略，并推动优化方案的落地； 4.跟踪大模型推理优化领域的前沿技术和行业动态，进行技术调研和评估，将先进技术引入实际工作中； 5.负责大模型云侧推理过程中的故障排查和问题解决，持续监控推理性能，提出改进建议并跟进落实。

1.硕士及以上学历，计算机科学与技术、软件工程、人工智能等相关专业应届毕业生； 2.掌握深度学习、大模型的基本原理和相关技术，了解常见的大模型架构（如Transformer等）； 3.具备扎实的编程基础，熟练掌握Python、C++等编程语言，熟悉至少一种大模型推理框架（如vLLM,SGLang、tensorRT-LLM等）； 4.了解模型压缩、量化、蒸馏等模型优化技术，有相关项目经验者优先； 5.具备良好的沟通能力、团队协作精神和问题解决能力，对技术有浓厚的兴趣和钻研精神。