【有书共读】《机器学习》读书笔记CH1-CH2

CH1 绪论

我们能做出有效地预判，是因为我们已经累计了许多经验，而通过对经验的利用，就能对新情况做出有效的决策； 机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”； 机器学习的目标是使学的模型能很好地适用于“新样本”，而不是仅仅在训练样本上工作得很好，学得模型适用于新样本的能力，称为“泛化”能力； 机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”； 对于一个学习算法a，若它在某些问题上比学习算法b好，则必然存在另一些问题，在那里b比a好。这个结论对任何算法均成立； 脱离具体问题，空泛地谈论”什么学习算法更好“毫无意义。学习算法自身的归纳偏好与问题是否匹配，往往会起到决定性的作用； 深度学习发展的原因：数据大了、计算能力强了

CH2 模型评估与选择 概要及习题 本章讲述了模型评估与选择（model evaluation and selection）的相关知识：

2.1 经验误差与过拟合（empirical error & overfitting） 精度accuracy、训练误差（经验误差）training error（empirical error）、泛化误差**generalization error、过拟合**overfitting、欠拟合underfitting；

2.2 模型评估方法（evaluate method） 测试误差testing error、留出法hold-out、分层采样stratified sampling、交叉验证法cross validation、k-折交叉验证**k-fold cross validation、留一法leave-one-out（LOO）、自助法bootstrapping、自助采样bootstrap sampling、包外估计out-of-bag estimate、调参**parameter tuning、验证集validation set；

2.3 模型性能度量（performance measure） 错误率error rate、查准率（准确率）precision、查全率（召回率）recall、P-R曲线、平衡点BEP、F1/Fβ、混淆矩阵、ROC曲线、AUC、代价敏感cost-sensitive、**代价矩阵**cost matrix、代价曲线cost curve、期望总体代价；

2.4 模型比较检验（comparation & testing） 假设检验hypothesis test、拒绝假设、t-检验t-test、Friedman检验、后续检验post-hoc test、Friedman检验图； 2.5 偏差与方差（bias & variance） 偏差-方差窘境bias-variance dilemma；

习题解答2.1 分层抽样划分训练集与测试集 根据分层采样原则，共有方法：

2.2 留一法与k-折交叉验证法比较 因为测试集被划分到训练样本中多的类，设一共100个样本： 留一法：测试集1个样本，训练集99个样本且有50个与测试集真实类别不同，故测试集无法被划分到正确的类，错误率100%； 交叉验证法：在采用分层抽样的前提下，分类靠随机猜，错误率因为50%；

2.3 F1值与BEP的关联 首先给出度量定义： • BEP：是P-R曲线上的平衡点坐标值，BEP = P = R (即准确率 = 召回率)； • F1值：是P与R的调和平均，1/F1 = (1/P + 1/R) / 2; 所以 BEP = F1 (当P = R时) -> BEP(A) > BEP(B).

2.4详细解释是： P，查准率（准确率），（预测正例）中（真实正例）的比例. R，查全率（召回率），（真实正例）中（预测正例）的比例. TPR，真正例率，（真实正例）中（预测正例）的比例，TPR = R. FPR，假正例率，（真实反例）中（预测正例）的比例.

2.6错误率可由代价-混淆矩阵得出； ROC曲线基于TPR与FPR表示了模型在不同截断点取值下的泛化性能。 ROC曲线上的点越靠近（1，0）学习器越完美，但是常需要通过计算等错误率来实现P、R的折衷，而P、R则反映了我们所侧重部分的错误率。

2.7 ROC曲线的点对应了一对（TPR,FPR），即一对（FNR,FPR），由此可得一条代价线段（0,FPR)–(1,FNR），由所有代价线段构成簇，围取期望总体代价和它的边界–代价曲线。所以说，ROC对应了一条代价曲线，反之亦然。