在命令窗口中输入mysql命令时，提示“mysql不是内部命令也不是可运行的程序”，发现此问题是由于系统的环境变量中未配置MySQL安装目录可执行文件的路径，可是安装MySQL时是默认按照的，此时已经忘记了安装位置，各个盘符中找了一遍，都没有找到。那么要怎样找到其安装的路径呢？ 只需登录终端，进入MySQL的命令行，然后输入命令：show variables like "%char%"; mysql> show variables like "%char%"; +--------------------------+----------------...

样本数据如下：  pollution dew temp press wnd_dir wnd_spd snow rain date 2010-01-02 00:00:00 129.0 -16 -4.0 1020.0 SE 1.79 0 0 2010-01-02 01:00:00 148.0 -15 -4.0 1020.0 SE 2.68 0 0 2010-01-02 02:00:00 159.0 -11 -5.0 1021.0 SE 3.57 0 0 2010-01-02 03:00:00 181.0 -7 -5.0 1022.0 SE 5.36 1 0 2010-01-02 04:00:00 ...

首先df是DataFrame数据，如  X 0 88.7413 1 96.5557 2 89.8403 3 87.5015 4 90.5852 ... 1995 165.0490 1996 161.0660 1997 158.4440 1998 154.5120 1999 156.2730 [2000 rows x 1 columns]时间序列预测代码如下 datas = df.values #归一化处理，这一步必不可少，不然后面训练数据误差会很大，模型没法用 max_value = np.max(datas) min_value = np.min(datas) scalar = max_va...

1.保存模型与加载简单的保存与加载方法 #保存整个网络 torch.save(model,path) #保存网络中的参数，速度快，占空间少 torch.save(model.state_dict(),path) #------------------------------------------- #加载的方法分别为： torch.load(path) model.load_state_dict(torch.load(path))如果加载出现错误： TypeError: 'IncompatibleKeys' object is not callable一般来说torch加载的时候出现问题，主...

import torch import torch.nn as nn import torchvision.transforms as transforms import torchvision.datasets as dsets from torch.autograd import Variable input_size = 28 sequence_length = 28 hidden_size = 128 num_layers = 2 num_classes = 10 batch_size = 100 num_epochs = 1 learning_rate = 0.01 train_da...

我们每训练10轮，评估一次准确率。当准确率开始下降时（出现了过拟合）终止训练。1.1 导入相关包 import torch # torchvision包的主要功能是实现数据的处理，导入和预览等 import torchvision from torchvision import datasets from torchvision import transforms from torch.autograd import Variable   首先，导入必要的包。对这个手写数字识别问题的解决只用到了torchvision中的部分功能，所以这里通过 from torchvision import方法...

如何基于PyTorch深度学习框架用简单快捷的方式搭建出复杂的神经网络模型，同时让模型参数的优化方法趋于高效。如同使用PyTorch中的自动梯度方法一样，在搭建复杂的神经网络模型的时候，我们也可以使用PyTorch中已定义的类和方法，这些类和方法覆盖了神经网络中的线性变换、激活函数、卷积层、全连接层、池化层等常用神经网络结构的实现。在完成模型的搭建之后，我们还可以使用PyTorch提供的类型丰富的优化函数来完成对模型参数的优化，除此之外，还有很多防止模型在模型训练过程中发生过拟合的类。 一、PyTorch之torch.nn   PyTorch中的 torch.nn包提供了很多与实现神经网络中的...

文本特征提取： 将文本数据转化成特征向量的过程 比较常用的文本特征表示法为词袋法词袋法： 不考虑词语出现的顺序，每个出现过的词汇单独作为一列特征 这些不重复的特征词汇集合为词表 每一个文本都可以在很长的词表上统计出一个很多列的特征向量 如果每个文本都出现的词汇，一般被标记为 停用词 不计入特征向量 主要有两个api来实现 CountVectorizer 和 TfidfVectorizerCountVectorizer： 只考虑词汇在文本中出现的频率TfidfVectorizer： 除了考量某词汇在文本出现的频率，还关注包含这个词汇的所有文本的数量 能够削减高频没有意义的词汇出现带来的影响, 挖...

将字典类型数据结构的样本，抽取特征，转化成向量形式 源码git: https://github.com/linyi0604/MachineLearning 代码： from sklearn.feature_extraction import DictVectorizer ''' 字典特征提取器： 将字典数据结构抽和向量化 类别类型特征借助原型特征名称采用0 1 二值方式进行向量化 数值类型特征保持不变 ''' # 定义一个字典列表 用来表示多个数据样本 measurements = [ {"city": "Dubai", "temperatur...

将字典类型数据结构的样本，抽取特征，转化成向量形式 源码git: https://github.com/linyi0604/MachineLearning 代码： from sklearn.feature_extraction import DictVectorizer ''' 字典特征提取器： 将字典数据结构抽和向量化 类别类型特征借助原型特征名称采用0 1 二值方式进行向量化 数值类型特征保持不变 ''' # 定义一个字典列表 用来表示多个数据样本 measurements = [ {"city": "Dubai", "temperatur...

详解stacking过程机器学习之Stacking原理与实战

ROC曲线常用于二分类问题中的模型比较，主要表现为一种真正例率 (TPR) 和假正例率 (FPR) 的权衡。具体方法是在不同的分类阈值 (threshold) 设定下分别以TPR和FPR为纵、横轴作图。由ROC曲线的两个指标，TPR=TPP=TPTP+FNTPR=TPP=TPTP+FN，FPR=FPN=FPFP+TNFPR=FPN=FPFP+TN 可以看出，当一个样本被分类器判为正例，若其本身是正例，则TPR增加；若其本身是负例，则FPR增加，因此ROC曲线可以看作是随着阈值的不断移动，所有样本中正例与负例之间的“对抗”。曲线越靠近左上角，意味着越多的正例优先于负例，模型的整体表现也就越好。机...

一、箱线图箱线图（Box plot）也称箱须图（Box-whisker Plot）、箱线图、盒图，可以用来反映一组或多组连续型定量数据分布的中心位置和散布范围 箱线图是一个能够通过5个数字来描述数据的分布的标准方式，这5个数字包括：最小值，第一分位，中位数，第三分位数，最大值，箱线图能够明确的展示离群点的信息，同时能够让我们了解数据是否对称，数据如何分组、数据的峰度。  二、定义 假设一组数据有n个数，将它们从小到大排列，分为四等分。位于第25%(n+1)位置的数字是第一四分位数Q1。位于第50%(n+1)位置的数字是第二四分位数Q2，也是中位数。位于第75%(n+1)位置的数字是第三四分位数...

模型调优 XGBoost有一些参数可以显著影响模型的准确性和训练速度。 应该了解的第一个参数是:n_estimators and early_stopping_roundsn_estimators 指定训练循环次数。 early_stopping_rounds 提供了一种自动查找理想值的方法。 early_stopping_rounds会导致模型在validation score停止改善时停止迭代，即使迭代次数还没有到n_estimators。为n_estimators设置一个高值然后使用early_stopping_rounds来找到停止迭代的最佳时间是明智的。 存在随机的情况有时会导致va...