秋招反思

LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解 0.前言 大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。 模型的自动评测技术可以分为rule-based和model-based两大类： rule-based方法： benchmark以客观题为主，例如多选题，被测的LLM通过理解context/question，来指定最佳答案 解析LLM的response，与标准答案做对比 计算metr...