1、概念性能度量（评价）指标，主分为两大类：
1）分类评价指标（classification），主要分析，离散的，整数的。其具体指标包括accuracy(准确率)，precision(精确率)，recall(召回率)，f值，p-r曲线，roc曲线和auc。
2）回归评价指标（regression），主要分析整数和实数之间的关系。其具体指标包括可释方差得分(explianed_variance_score)，平均绝对误差mae(mean_absolute_error)，均方误差mse(mean-squared_error)，均方根差rmse，交叉熵lloss(log loss，cross-entropy loss)，r方值(确定系数，r2_score)。
1.1、前提假设只有两类-正类（positive）和负类（negative），通常以关注的类为正类，其他类为负类（故多类问题亦可归纳为两类）
混淆矩阵（confusion matrix）如下
实际类别 预测类别
正 负 总结
正 tp fn p(实际为正)
负 fp tn n(实际为负)
表中ab模式：第一个表示预测结果的对错，第二个表示预测的类别。如tp表示，true positive，即正确的预测为正类；fn表示，false negative，即错误的预测为了负类。
2、评价指标（性能度量）2.1、分类评价指标2.1.1 值指标-accuracy、precision、recall、f值度量 accuracy(准确率) precision(精确率) recall(召回率) f值
定义 正确分类的样本数与总样本数之比（预测为垃圾短信中真正的垃圾短信的比例） 判定为正例中真正正例数与判定为正例数之比（所有真的垃圾短信被分类求正确找出来的比例） 被正确判定为正例数与总正例数之比 准确率与召回率的调和平均f-score
表示 accuracy=
precision=
recall=
f - score =
1.precision也常称为查准率，recall称为查全率
2.比较常用的是f1，
python3.6代码实现：
#调用sklearn库中的指标求解from sklearn import metricsfrom sklearn.metrics import precision_recall_curvefrom sklearn.metrics import average_precision_scorefrom sklearn.metrics import accuracy_score#给出分类结果y_pred = [0, 1, 0, 0] y_true = [0, 1, 1, 1] print("accuracy_score:", accuracy_score(y_true, y_pred)) print("precision_score:", metrics.precision_score(y_true, y_pred)) print("recall_score:", metrics.recall_score(y_true, y_pred)) print("f1_score:", metrics.f1_score(y_true, y_pred)) print("f0.5_score:", metrics.fbeta_score(y_true, y_pred, beta=0.5)) print("f2_score:", metrics.fbeta_score(y_true, y_pred, beta=2.0))
2.1.2 相关曲线-p-r曲线、roc曲线及auc值1）p-r曲线
步骤：
1、从高到低将”score”值排序并依次作为阈值threshold；
2、对于每个阈值，”score”值大于或等于这个threshold的测试样本被认为正例，其他为负例。从而形成一组预测数。
eg.
将0.9作为阈值，则第1个测试样本为正例，2、3、4、5为负例
得到
预测为正例 预测为负例 总计
正例(score大于阈值) 0.9 0.1 1
负例(score小于阈值) 0.2+0.3+0.3+0.35 = 1.15 0.8+0.7+0.7+0.65 = 2.85 4
precision=
recall=
在阈值以下的部分，当作负例，则预测为负例的取值情况是正确预测值，即如果本身是正例，则取tp；如果本身是负例，则取tn，其都为预测分值。
python实现伪代码
#precision和recall的求法如上 #主要介绍一下python画图的库 import matplotlib.pyplot ad plt #主要用于矩阵运算的库 import numpy as np#导入iris数据及训练见前一博文 ... #加入800个噪声特征，增加图像的复杂度 #将150*800的噪声特征矩阵与150*4的鸢尾花数据集列合并 x = np.c_[x, np.random.randomstate(0).randn(n_samples, 200*n_features)] #计算precision，recall得到数组 for i in range(n_classes): #计算三类鸢尾花的评价指标， _作为临时的名称使用 precision[i], recall[i], _ = precision_recall_curve(y_test[:, i], y_score[:,i])#plot作图plt.clf() for i in range(n_classes): plt.plot(recall[i], precision[i]) plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel("recall") plt.ylabel("precision") plt.show()
将上述代码补充完整后得到鸢尾花数据集的p-r曲线
2）roc曲线
横轴：假正例率 fp rate = fp / n
纵轴：真正例率 tp rate = tp / n
步骤：
1、从高到低将”score”值排序并依次作为阈值threshold；
2、对于每个阈值，”score”值大于或等于这个threshold的测试样本被认为正例，其他为负例。从而形成一组预测数。
同p-r曲线计算类似，不再赘述
鸢尾花数据集的roc图像为
auc（area under curve）定义为roc曲线下的面积
auc值提供了分类器的一个整体数值。通常auc越大，分类器更好，取值为[0, 1]
2.2、回归评价指标1）可释方差得分
2）平均绝对误差 mae （mean absolute error）
3）均方差 mse （mean squared error）
4）logistics回归损失
5）一致性评价 - pearson相关系数法
python代码实现
from sklearn.metrics import log_loss log_loss(y_true, y_pred)from scipy.stats import pearsonr pearsonr(rater1, rater2)from sklearn.metrics import cohen_kappa_score cohen_kappa_score(rater1, rater2)
以上就是详解分类评价指标和回归评价指标以及python代码实现的详细内容。