LLM推理优化-实习（可提供转正机会）

LLM inference • 大模型推理系统优化:通过系统手段来提升TensorRT-LLM的性能、易用性和功能丰富度。包括但不限于TensorRT-LLM的API改进、LLM runtime优化、服务层优化、定制优化算子、分布式优化等等。 • 大模型推理模型优化: 通过模型优化的手段进一步提升TensorRT-LLM的性能表现，包括低比特量化，KV Cache量化，稀疏化等等，也包括类似于Speculative decoding, Streaming-LLM这类模型系统联合优化的工作内容。 AI Complier System • AI编译器: 主要包括如何使用AI编译器技术，在NV的当代硬件，以及未来硬件上，以自动化的方式生成高效的计算密集/访存密集的算子kernel。

1、有大模型推理优化相关经验 2、可以实习3个月左右，一周至少出勤3天 3、提供转正机会