文章目录  1.3. 数据的特征预处理 数据的特征预处理   单个特征     多个特征      1.3. 数据的特征预处理  数据的特征预处理 单个特征 （1）归一化 归一化首先在特征（维度）非常多的时候，可以防止某一维或某几维对数据影响过大，也是为了把不同来源的数据统一到一个参考区间下，这样比较起来才有意义，其次可以程序可以运行更快。 例如：一个人的身高和体重两个特征，假如体重50kg，身高175cm,由于两个单位不一样，数值大小不一样。如果比较两个人的体型差距时，那么身高的影响结果会比较大，k-临近算***有这个距离公式。 min-max方法 常用的方法是通过对原始数据进行线性变换把数...

文章目录  1.4. 数据的特征选择 数据的特征选择   sklearn.feature_selection    1.4. 数据的特征选择  数据的特征选择 降维本质上是从一个维度空间映射到另一个维度空间，特征的多少别没有减少，当然在映射的过程中特征值也会相应的变化。举个例子，现在的特征是1000维，我们想要把它降到500维。降维的过程就是找个一个从1000维映射到500维的映射关系。原始数据中的1000个特征，每一个都对应着降维后的500维空间中的一个值。假设原始特征中有个特征的值是9，那么降维后对应的值可能是3。而对于特征选择来说，有很多方法：  Filter(过滤式):Variance...

文章目录  2. sklearn数据集与机器学习组成 sklearn数据集与机器学习组成   机器学习组成：模型、策略、优化 开发机器学习应用程序的步骤    2. sklearn数据集与机器学习组成  sklearn数据集与机器学习组成 机器学习组成：模型、策略、优化 《统计机器学习》中指出：机器学习=模型+策略+算法。其实机器学习可以表示为：Learning= Representation+Evalution+Optimization。我们就可以将这样的表示和李航老师的说法对应起来。机器学习主要是由三部分组成，即：表示(模型)、评价(策略)和优化(算法)。 表示(或者称为：模型)：Repr...

文章目录  2.1. Scikit-learn数据集 scikit-learn数据集   sklearn.datasets 获取小数据集 获取大数据集 获取本地生成数据    2.1. Scikit-learn数据集  scikit-learn数据集 我们将介绍sklearn中的数据集类，模块包括用于加载数据集的实用程序，包括加载和获取流行参考数据集的方法。它还具有一些人工数据生成器。 sklearn.datasets （1）datasets.load_*() 获取小规模数据集，数据包含在datasets里 （2）datasets.fetch_*() 获取大规模数据集，需要从网络上下载，函数的...

文章目录  2.2. 模型的选择 模型的选择   如何选择合适的算法模型 监督学习中三类问题的解释    2.2. 模型的选择  模型的选择 算法是核心，数据和计算是基础。这句话很好的说明了机器学习中算法的重要性。那么我们开看下机器学习的几种分类：  监督学习  分类 k-近邻算法、决策树、贝叶斯、逻辑回归(LR)、支持向量机(SVM) 回归 线性回归、岭回归 标注 隐马尔可夫模型(HMM)  无监督学习  聚类 k-means   如何选择合适的算法模型 在解决问题的时候，必须考虑下面两个问题：一、使用机器学习算法的目的，想要算法完成何种任务，比如是预测明天下雨的概率是对投票者按照兴趣分组；...

文章目录  2.3. 模型检验-交叉验证 模型检验-交叉验证   训练集与测试集 holdout method k-折交叉验证    2.3. 模型检验-交叉验证  模型检验-交叉验证 一般在进行模型的测试时，我们会将数据分为训练集和测试集。在给定的样本空间中，拿出大部分样本作为训练集来训练模型，剩余的小部分样本使用刚建立的模型进行预测。 训练集与测试集 训练集与测试集的分割可以使用cross_validation中的train_test_split方法，大部分的交叉验证迭代器都内建一个划分数据前进行数据索引打散的选项，train_test_split 方法内部使用的就是交叉验证迭代器。默认不...

文章目录  2.4. sklearn的estimator estimator的工作流程   2.4. sklearn的estimator  estimator的工作流程 在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator。在估计器中有有两个重要的方法是fit和transform。  fit方法用于从训练集中学习模型参数 transform用学习到的参数转换数据

文章目录  3. sklearn的分类器算法 Scikit-learn的分类器算法   3. sklearn的分类器算法  Scikit-learn的分类器算法 本部分将学习常用的分类算法以及案例，并且了解分类模型的性能评估方法。

文章目录  3.1. 分类算法之k-近邻 分类算法之k-近邻   一个例子弄懂k-近邻 sklearn.neighbors   Method     3.1. 分类算法之k-近邻  分类算法之k-近邻 k-近邻算法采用测量不同特征值之间的距离来进行分类  优点：精度高、对异常值不敏感、无数据输入假定 缺点：计算复杂度高、空间复杂度高 使用数据范围：数值型和标称型  一个例子弄懂k-近邻 电影可以按照题材分类，每个题材又是如何定义的呢？那么假如两种类型的电影，动作片和爱情片。动作片有哪些公共的特征？那么爱情片又存在哪些明显的差别呢？我们发现动作片中打斗镜头的次数较多，而爱情片中接吻镜头相对更多。...

文章目录  3.2. k-近邻算法案例分析 k-近邻算法案例分析   3.2. k-近邻算法案例分析  k-近邻算法案例分析 本案例使用最著名的”鸢尾“数据集，该数据集曾经被Fisher用在经典论文中，目前作为教科书般的数据样本预存在Scikit-learn的工具包中。 读入Iris数据集细节资料 from sklearn.datasets import load_iris # 使用加载器读取数据并且存入变量iris iris = load_iris() # 查验数据规模 iris.data.shape # 查看数据说明（这是一个好习惯） print iris.DESCR  通过上述代码对数据...

文章目录  3.3. 朴素贝叶斯 朴素贝叶斯   概率论基础 sklearn.naive_bayes.MultinomialNB 互联网新闻分类    3.3. 朴素贝叶斯  朴素贝叶斯 朴素贝叶斯（Naive Bayes）是一个非常简单，但是实用性很强的分类模型。朴素贝叶斯分类器的构造基础是贝叶斯理论。 概率论基础 概率定义为一件事情发生的可能性。事情发生的概率可以 通过观测数据中的事件发生次数来计算，事件发生的概率等于改事件发生次数除以所有事件发生的总次数。举一些例子：  扔出一个硬币，结果头像朝上 某天是晴天 某个单词在未知文档中出现  我们将事件的概率记作P\left({X}\righ...

文章目录  3.4. 分类算法之逻辑回归 分类算法之逻辑回归   逻辑回归 sklearn.linear_model.LogisticRegression 属性 特点分析    3.4. 分类算法之逻辑回归  分类算法之逻辑回归 逻辑回归（Logistic Regression），简称LR。它的特点是能够是我们的特征输入集合转化为0和1这两类的概率。一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用逻辑回归。了解过线性回归之后再来看逻辑回归可以更好的理解。  优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分类精度不高 适用数据：数值型...

文章目录  3.5. 逻辑回归算法案例分析 逻辑回归算法案例分析   良／恶性乳腺癌肿瘤预测    3.5. 逻辑回归算法案例分析  逻辑回归算法案例分析 良／恶性乳腺癌肿瘤预测 原始数据的下载地址为：https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/ 数据预处理 import pandas as pd import numpy as np # 根据官方数据构建类别 column_names = ['Sample code number','Clump Thickness','Un...

文章目录  3.6. 分类器性能评估 分类器性能评估   sklearn.metrics.classification_report    3.6. 分类器性能评估  分类器性能评估 在许多实际问题中，衡量分类器任务的成功程度是通过固定的性能指标来获取。一般最常见使用的是准确率，即预测结果正确的百分比。然而有时候，我们关注的是负样本是否被正确诊断出来。例如，关于肿瘤的的判定，需要更加关心多少恶性肿瘤被正确的诊断出来。也就是说，在二类分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵。 在二类问题中，如果将...