在一个极度类别不平衡的二分类场景（正类占比1%），业务方最

​这是一个关于机器学习模型评估指标的选择问题。 ​在极度类别不平衡的二分类场景中（正类占比小于1%），业务方最关心的是能否尽可能识别出正类，同时能容忍一定的误报。在这种情况下，最合适的离线评估主指标是 PR-AUC。 ​以下是原因分析： ​指标选择分析 ​准确率 (Accuracy)：在类别极度不平衡的情况下，准确率是一个具有误导性的指标。即使模型将所有样本都预测为负类，准确率仍然可以达到99%以上，但这对于识别正类的业务目标毫无意义。 ​ROC-AUC：ROC曲线的横轴是假正例率 (FPR)，纵轴是真正例率 (TPR，即召回率)。FPR 的计算公式为 FPR = \frac{FP}{FP+TN}。在类别不平衡的情况下，负类数量（TN+FP）非常大，因此 FPR 的变化可能非常小，曲线的细节难以被有效捕捉。 ​PR-AUC (平均精确率-召回曲线下面积)：PR曲线的横轴是召回率 (Recall)，纵轴是精确率 (Precision)。 ​召回率 (Recall)：Recall = \frac{TP}{TP+FN}，衡量模型识别出所有正类的能力。 ​精确率 (Precision)：Precision = \frac{TP}{TP+FP}，衡量模型预测为正类中确实为正类的比例。 ​PR曲线更关注正类的表现。当业务需求是“尽可能识别出正类”时，这正是对召回率的要求；同时，“容忍一定的误报”则体现在对精确率的要求上。在类别不平衡场景下，PR曲线能更清晰地反映出模型在正类上的表现，PR-AUC则能更好地衡量模型在不同阈值下平衡召回率和精确率的综合能力。因此，PR-AUC是衡量此类模型性能的更优选择。 ​均方误差 (MSE)：均方误差是回归任务中常用的评估指标，不适用于二分类问题。 ​结论 ​综上所述，当面临类别极度不平衡且业务目标是最大化对正类的识别能力时，PR-AUC是比ROC-AUC或准确率更可靠和更具业务指导意义的评估指标。