大模型及分布式推理优化实习生

1、参与分布式推理系统建设，提供行业领先的LLM/多模态模型解决方案； 2、针对大语言模型（LLM）等场景，开展端到端推理性能优化，重点降低推理延迟、提升吞吐量； 3、针对大语言模型（LLM）等场景，开展端到端推理精度分析，提升模型精度； 4、开发和维护大语言模型（LLM）量化工具等。

1、计算机、电子工程、自动化、数学等相关专业优先； 2、精通Python/C++； 3、深入理解LLM或者视觉生成模型框架和原理； 4、深入理解量化、kvcache、多机多卡并行等加速技术； 5、尽快入职，可以持续实习6个月。 加分项： 1、有GPU/加速卡调优实践经验； 2、有开源仓库的贡献经验； 3、参与过LLM或者视觉生成端到端推理优化项目，并实际落地； 4、有集群部署经验； 5、了解torch. compile/CUDAGraph/Triton； 6、了解vllm, sglang, megatron, verl等。