首页 > 试题广场 >

有样本(A,B,C,D,E),模型A预估值为(0.2,0.4

[单选题]
有样本 (A, B, C, D, E) , 模型A预估值为 (0.2, 0.4, 0.7, 0.3, 0.5) , 模型 B 预估值为 (0.1, 0.3, 0.9, 0.2, 0.5) , Y = (0, 0, 1 ,0 ,1), 请问模型 A 和 模型 B 评估指标 AUC 哪个更高 ?()
  •  A   
  •  B.
  • 一样
计算AUC有两种方法:
假设真实结果中正样本数为M,负样本数为N
例如,本题中M=2,N=3,模型A对五个样本(假设为a,b,c,d,f)的预测结果为(0.2, 0.4, 0.7, 0.3, 0.5) 
法一:
不排序,3个正样本和2个负样本可以组成3*2=6种组合,分别为(a,c),(a,f),(b,c),(b,f),(d,c),(d,f),对于A,所有组合中预测的正样本概率>负样本概率的情况有全部六种情况,则AUC=(1+1+1+1+1+1)/ 6 = 6/6 = 1
若预测的正负样本的概率值相等,则在分子中加上0.5
法二:
排序,按照预测的结果P将所有样本进行排序,对于A,排序后的结果为
ID Pro Label rank
a 0.2 0 1
d 0.3 0 2
b 0.4 0 3
f 0.5 1 4
c 0.7 1 5
套用计算公式,AUC = (正样本rank值加和-M*(M+1)/2) / M*N = (4+5-3) / 6 = 1

B的AUC计算公式遇上一样
编辑于 2020-10-04 11:43:35 回复(0)
模型A (00101) 模型B(00101) 因此AUC一样大
发表于 2020-06-15 20:05:58 回复(2)
两组数据的ROC画出来都是一样的,因此AUC相同,有什么快速判断的方法吗?
发表于 2020-08-15 17:42:44 回复(0)