第22章 局部搜索和反馈搜索优化 局部搜索是一种简单有效的方法，能用以确定离散优化问题的改进方案。它生成变化的序列，每一个变化都是局部的，即只在有限的部分内影响当前的解决方案。它成功的原因在于，许多问题有着丰富的构型（局部极小值聚在一起，又名大峡谷假说），并且相比于对一个全新的解决方案重新进行求值，在当前解决方案的邻域采用增量求值会更快。 局部搜索停在局部最优点，此时不存在可以改进的邻域，因此当前的搜索轨迹陷在局部最优里。此时需要额外的多样化的手段从局部吸引域逃脱。 反馈搜索优化（RSO）在优化的过程中使用学习和自适应，使搜索技术可以根据正在求解的实例和当前暂定解决方案...

4.5 分析希腊葡萄酒数据 这次Florents 提供了一个爬虫工具。 4.6 应用本福特定律 再解释本福特定律之前，先看一个统计实例。 根据《维基百科》的“国家人口列表”词条的数据，建立一个CSV文件。 下面研究苹果公司的股票。 ...

第4章 综合应用 1. 分析内衣评论数据 数据分析，首先要有数据，即解决数据来源问题。4.1节分析的股票数据来源于Pandas，还有数据来源于其他处，包括某人／机构整理的API等。此外，众多的各种类型的网站是更广阔的数据源。每个网站都有若干网页，网页上的内容就是我们要获取的数据。从网站上获得数据的方法有多种，比如有的网站提供访问本站数据的 API，但这类网站较少，并且 API 还有诸多限制，所以获取数据的一种技术——“网络爬虫”就得到了广泛应用。 本节就从某东网站上爬取了一点点数据，仅供研习之用。

第11 统计学习理论和支持向量机 统计学习理论（SLT）声明了能成功从实例中进行学习的条件；也就是说，对于相同底层概率分布产生的新实例，训练数据的积极成果能转换成有效的泛化。分布的稳定性是至关重要的：好的老师绝不会用一些例子来教育学生，却又用完全不同的另一些例子来考试。换句话说，实例必须代表问题。可学习性的条件意味着假设空间（我们用于学习的“可调参数的灵活机器”）必须足够强大，使其在训练实例上有不错的表现（经验风险小），但又不能过于强大，以至于只记住了实例，却没有提取问题的深层结构。这一灵活性是由VC维度量化的。 SLT展示了从数据中学习的天堂是存在的，但是对于大多数实际的问题...

2.5 处理缺失数据 1. NumPy 中的缺失数据 数据中出现了“空缺”，就用None表示 2. Pandas 处理缺失数据 2.6 规范数据 1.轴向连接 在NumPy中，有一个名为np.concatentate（）函数 在Pandas中，有pd.concatenate（）函数 2. 合并数据 3. 组合数据 仅用 pd.concat()和 pd.merge() 只是实现了"无选择"规整，还有就是根据某种条件分别从不同的对...

1.线性模型 传统的线性回归模型（一组输入一输出对的线性逼近）通过最小化线性模型预测值训练样本输出值之间的平方误差和来找到可能的最好的实验数据线性拟合。最小化可以“一招制胜”，通过推广线性代数中的矩阵求逆，也可以通过迭代的方式逐步修改模型参到并降低误差。广义逆法可能是拟合实验数据的最常用的技术。 在分类中，线性模型旨在用线条、平面与超平面来分离实例。要确定分离平面，人们可以要求把输入值映射到两个不同的输出值（如＋1和一1）并使用回归。 考虑到泛化性找到健壮的分离超平面的更先进的技术是下面章节中将会描述的支持向量机。 计算机中不存在实数，它们只能用有限大小的二进制数字逼近...

1.文件的读写操作 1.1 CSV文件 1.2 HDF5文件 HDF5 文件包括两种基本数据对象 群组（group）：类似文件夹，可以包含多个数据集或下级群组。 数据集（dataset）：数据内容，可以是***数组，也可以是更复杂的数据类型。 安装 h5py 的命令如下: sudo pip3 install h5py 实例化HDFStore() 创建 HDF5 文件对象。 2.处理缺失数据 2.1 NumPy 中的缺失数据 在数据中，我们也会常常遇到类似于的问题...

    机器学习（ML）的目标是用一个训练实例集来建立系统，这个系统能够正确地泛化到新实例上，这些新的实例是在学习阶段没有见过的，但来自同一个问题。 ML 的学习即是为一个灵活的模型找到合适的参数值，这些参数要使得实例集上的误差度量自动最小化, 同时也需要避免复杂的模型，从而增加正确泛化的概率。 这个系统的输出值可以是一个类（分类问题），或者是一个数值（回归问题）。在某些情况下，为了增加可用性，可以输出某一类的概率。 只要我们有丰富的有代表性的数据，我们可以在不知道背景知识的情况下建立一个准确的分类器。相较于基于专业领域知识的手动构建的系统，这是一个了不起的改变。 ML是非常强...

二、访问 1. 索引对象 pandas 中的索引是单独设置成对象的，有 Index 和 MultiIndex 两种，在创建Series或者DataFrame的时候可以指明index参数的值来自定义索引，默认生成从0开始的整数序列为索引值。索引支持切片操作，但是索引对象是不可变的，也就是说我们不能直接改变索引某一个位置上的值，修改索引必须重新赋值新的索引对象。 从上述过程我们可以发现pandas的索引对象很像一维数组，但他也像集合，因为它还支持集合的交、并、差操作，分别对应运算符 “&”、“|”、“-”。 但在越来越信息化的时代，我们的数...

KNN ( K 近邻 ) 是一种原始的懒惰的机器学习方式：它只是把所有的训练实力存在存储器（ 输入和对应的输出标记）。 当有一个新输入并需要计算其对应的输出时，在存储器中查找 k 个最接近的实例。读取它们的输出，并根据它们的大多数或平均值推导出 新实例的输出。当存储量非常多的实例时，训练阶段的懒惰会让预测阶段的响应时间变得很长。 相似的输入经常对应着相似的输出，这是机器学习领域的一个基本假设，因此 KNN 方法在很多实际案例中都有效。

第0章 1. 安装基本库 打开终端，依次输入如下安装指令： $ sudo pip3 install numpy $ sudo pip3 install scipy $ sudo pip3 install matplotlib $ sudo pip3 install pandas $ sudo pip3 install sympy $ sudo pip3 install ipython $ sudo pip3 install jupyter 安装完毕会显示是否安装成功，或者用户输入python3后再输入import 库名 看是否报错来检验是否安装成功。 2.使用Jupyter 使交互更友好 执行...