import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.linear_model import SGDRegressor  iris = load_iris().data #特征必须是二维的 feature = iris[:,2].reshape(-1,1) #目标值可以是一维度 labels = iris[:,-1]  X_train,X_...

题目 Employee 表包含所有员工信息，每个员工有其对应的 Id, salary 和 department Id。  Department 表包含公司所有部门的信息。  编写一个 SQL 查询，找出每个部门工资最高的员工。例如，根据上述给定的表格，Max 在 IT 部门有最高工资，Henry 在 Sales 部门有最高工资。  分析 -- 查看员工表 SELECT * FROM employee;   -- 查看部门表 SELECT * FROM department;   -- 每个部门的最大薪水 SELECT DepartmentId, MAX( Salary ) FROM Emplo...

波士顿房价预测——基于正规方程优化及梯度下降优化 数据代码下载地址 项目链接+源代码：https://github.com/w1449550206/Boston-house-price-forecast.git   文章目录  波士顿房价预测——基于正规方程优化及梯度下降优化 数据代码下载地址 数据介绍   1 分析 2 回归性能评估  详细步骤 【正规方程优化的线性回归】 1.获取数据 load_boston 2.数据基本处理 划分数据集和测试集 3.特征工程 标准化 4.机器学习 线性回归（正规方程优化的，梯度下降优化的）   4.1创建模型 实例化估计器 4.2训练模型 fit 正规方程...

文章目录  线性回归简介   线性回归应用场景 什么是线性回归   定义与公式 线性回归的特征与目标的关系分析   线性回归api初步使用   线性回归API 举例   步骤分析 代码过程   数学:求导   常见函数的导数 导数的四则运算 练习     3.1 y = x^3-2x^2+sinx,求f`(x) 3.2 y=ln(sinx), 求dy/dx   矩阵（向量）求导 [了解]  线性回归的损失和优化   损失函数 优化算法   正规方程   什么是正规方程 正规方程求解举例 正规方程的推导      线性回归简介 线性回归应用场景   房价预测  销售额度预测  贷款额度预测 举例...

文章目录      梯度下降(Gradient Descent)   什么是梯度下降 梯度的概念 梯度下降举例 梯度下降**（**Gradient Descent）公式   **优化动态图演示**     梯度下降法介绍   1 全梯度下降算法（FG） 2 随机梯度下降算法（SG） 3 小批量梯度下降算法（mini-bantch） 4 随机平均梯度下降算法（SAG） 5 算法比较 6 梯度下降优化算法(拓展)    梯度下降(Gradient Descent) 什么是梯度下降 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的...

线性回归api再介绍  sklearn.linear_model.LinearRegression(fit_intercept=True)  通过正规方程优化 fit_intercept：是否计算偏置 LinearRegression.coef_：回归系数 LinearRegression.intercept_：偏置  sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)  SGDRegressor类实现了随机梯度下降学...

文章目录  欠拟合与过拟合   1.定义 2.原因以及解决办法   （1）欠拟合   1.欠拟合原因 2.欠拟合解决办法  （2）过拟合   1.过拟合原因 2.过拟合解决办法      欠拟合与过拟合 1.定义  过拟合：训练集的误差小，但测试集的误差大  一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)  欠拟合：模型很简单的时候，两个误差都比较差  一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)  随着模型复...

文章目录  正则化   1.什么是正则化 2.正则化类别  **具体如何正则化线性模型？请看接下来的“正则化系列”的博客。**   正则化 1.什么是正则化 不知道建立模型的时候建立到多复杂才合适怎么办？那么我们先做到模型足够复杂！ 足够的复杂之后，会有一个冗余的复杂度，容易过拟合。 因此，我们可以通过正则化的方法，将冗余的复杂度降低。 思路：剔除高次项的，将高次项的系数变成0或者趋近于0。 在解决回归过拟合中，我们选择正则化。但是对于其他机器学习算法如分类算法来说也会出现这样的问题，除了一些算法本身作用之外（决策树、神经网络），我们更多的也是去自己做特征选择，包括之前说的删除、合并一些特征。...

维灾难 1.什么是维灾难 特征数量比较少的时候，越多特征，分类器性能越好 到达某点之后，分类器性能逐渐下降 随着维度的增加，分类器性能逐步上升，到达某点之后，其性能便逐渐下降  有一系列的图片，每张图片的内容可能是猫也可能是狗；我们需要构造一个分类器能够对猫、狗自动的分类。首先，要寻找到一些能够描述猫和狗的特征，这样我们的分类算法就可以利用这些特征去识别物体。猫和狗的皮毛颜色可能是一个很好的特征，考虑到红绿蓝构成图像的三基色，因此用图片三基色各自的平均值称得上方便直观。这样就有了一个简单的Fisher分类器： If 0.5*red + 0.3*green + 0.2*blue > 0.6...

正则化线性模型  文章目录  正则化线性模型   1.Ridge Regression (岭回归，又名 Tikhonov regularization) 2.Lasso回归 3.弹性网络 4.Early Stopping     1.Ridge Regression (岭回归，又名 Tikhonov regularization) 线性回归+L2正则 具体的损失函数 目标函数 = 损失函数+正则项 岭回归是线性回归的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）:  以达到在拟合数据的同时，使模型权重尽可能小的目的,岭回归代...

线性回归的改进-岭回归 文章源代码下载地址：波士顿房价岭回归正则化预测代码实现   文章目录  线性回归的改进-岭回归   1.API 2.观察正则化程度的变化，对结果的影响？ 3.波士顿房价正则化预测代码 4.结果    1.API  sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”, normalize=False)  具有l2正则化的线性回归 alpha:正则化力度，也叫 λ  λ取值：0~1 1~10  solver:会根据数据自动选择优化方法  sag:如果数据集、特征都比较大，选择该随机梯度...

模型的保存和加载 文章源代码下载地址：波士顿房价岭回归正则化预测代码实现   文章目录  模型的保存和加载   1.sklearn模型的保存和加载API 2.线性回归的模型保存加载案例   2.1保存模型 2.2加载模型 2.3结果     1.sklearn模型的保存和加载API from sklearn.externals import joblib - 保存：joblib.dump(estimator, 'test.pkl') - 加载：estimator = joblib.load('test.pkl')  注意：保存的后缀名是.pkl 2.线性回归的模型保存加载案例 注意：   要保...

模型评估  文章目录  模型评估   学习目标 1 分类模型评估 2 回归模型评估       均方根误差（Root Mean Squared Error，RMSE） 相对平方误差（Relative Squared Error，RSE） 平均绝对误差（Mean Absolute Error，MAE) 相对绝对误差（Relative Absolute Error，RAE) 决定系数 (Coefficient of Determination)    3 拟合       训练数据训练的很好啊，误差也不大，为什么在测试集上面有问题呢？   3.1 欠拟合 3.2 过拟合  4 小结    学习目标...

Azure机器学习模型搭建实验 本文数据及文档地址：https://github.com/w1449550206/Azure-machine-learning-model-building-experiment.git   文章目录  Azure机器学习模型搭建实验   机器学习工作流程总结 登录方法 Azure平台简介 Azure机器学习实验   详细操作步骤   Azure机器学习实验   一、项目背景   【项目简介】 【项目涉及知识点】  二、项目基本需求及目的   【项目需求】 【项目目的】  三、项目准备工作   【项目平台】  四、项目实现步骤   4.1 数据集简介及准备   ...