大模型评测工程师

1、负责构建LLM质量的主客观评价体系； 2、负责构建评估LLM质量的数据集； 3、负责挑选应用或自建评价大模型质量的指标； 4、积极协作研发人员，提高LLM版本发布的质量和效率； 5、负责推动常规模型（语义、图像、检索排序）评测策略的迭代升级。

1、精通Python、C++、Java等至少一种编程语言，精通数据库语言，如SQL等，熟悉Linux操作系统，有扎实的编程功底； 2、深入理解Bert和GPT相关原理，如prompt、finetuning、transformer等关键技术； 3、熟悉深度学习及常见机器学习算法的原理与算法，熟练运用聚类、分类、回归、排序等模型解决问题； 4、深入理解及运用常用的语言模型评价指标Cross-entropy，BPC/BPW，Perplexity，ROUGE等； 5、良好的英语阅读能力和团队合作精神； 6、对新技术有较强的洞察力和学习实践能力； 7、有大模型评测经验优先。