C/C++工程师(推理部署)--AI产品

薪资面议
2025-03-10










岗位职责
1.自然语言处理、图像、视频和语音业务相关大模型的研究和实现;
2.模型蒸馏、压缩和量化相关的部署性能优化。
2.模型蒸馏、压缩和量化相关的部署性能优化。
岗位要求
1.计算机相关专业,有良好的数据结构与算法功底,能够熟练使用python或C++编写算法;
2.熟练掌握CNN/RNN等常见视觉网络结构,熟悉YOLO系列模型框架以及推理工程化流程。
3.熟练掌握transformer网络结构,熟悉LLama/Qwen系列LLM/VLM模型框架及推理工程化过程。
4.熟悉vLLM/SGLang/TensorRT/TensorRT-LLM等主流LLM推理框架或llama.cpp/MLC-LLM等通用LLM推理框架。
5.熟悉GPTQ/AWQ/SmoothQuant等模型量化算法以及Speculative-decoding等推理优化方案。
加分项:基于CUDA、QNN或其他加速引擎的算子开发经验。
2.熟练掌握CNN/RNN等常见视觉网络结构,熟悉YOLO系列模型框架以及推理工程化流程。
3.熟练掌握transformer网络结构,熟悉LLama/Qwen系列LLM/VLM模型框架及推理工程化过程。
4.熟悉vLLM/SGLang/TensorRT/TensorRT-LLM等主流LLM推理框架或llama.cpp/MLC-LLM等通用LLM推理框架。
5.熟悉GPTQ/AWQ/SmoothQuant等模型量化算法以及Speculative-decoding等推理优化方案。
加分项:基于CUDA、QNN或其他加速引擎的算子开发经验。