一、参数的更新 SGD及变种1、普通SGD updateSGD（Stochastic Gradient Descent）就是最常见的随机梯度下降。向着参数的梯度的负方向改变（梯度方向是增加的方向）。  这里的x可以是权值w也可以是偏置b。  2、Momentum update相比于普通SGD，这种方法在深度网络中收敛更好。受到物理中的启发：例子的力与势能梯度有相对关系。例子感受到的力，正是损失函数的负梯度。F=ma，负梯度正比于粒的加速度。与普通SGD不同，梯度直接作用于位置，这里用物理的角度来看，梯度直接影响速度，速度再影响位置。 3、Nestrevo Momentum update与Mom...

一、计算图 计算图被定义为有向图，其中节点对应于数***算。 计算图是表达和评估数学表达式的一种方式。例如，这里有一个简单的数学公式 -p = x + y。计算图和反向传播都是深度学习训练神经网络的重要核心概念。 二、链式法则 在微积分中，链式法则是计算两个或多个函数的组合的导数的公式，也就是说，如果f和g是函数，则链式法则表示它们的组合的导数f∘g（将x映射到f（g（x））的函数。由于在定义过程中求导公式可以表示成一个连乘过程，就像锁链一样一环套一环，故而得名。链式法则在计算上简单，在直观上容易理解。在机器学习领域，链式法则是需要理解的重要基础法则之一，其主要应用在于反向传播（backpro...

一、从数据中学习 神经网络的学习，是指从训练数据中自动获取最优权重参数的过程，学习的目的以损失函数为基准，找出能使它的值达到最小的权重参数，为了找出尽可能小的损失函数的值，本章介绍了利用函数斜率的梯度法。 二、损失函数 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：  其中，前面的均值函数表示的是经验风险函数，L代表的是损失函...

一、从感知机到神经网络  1、神经网络结构：用图来表示的话，把最左一列称为输入层，最右一列称为输出层，中间一列称为中间层（也称隐藏层），隐藏的意思是，隐藏层的神经元肉眼不可见。2、在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。如在数据线性不可分的情况下，尝试引入非线性的因素，对样本进行分类。  二、激活函数  1、什么是激活函数：在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function2、sigmod函数：Sigmoid函数计算公式：曲线：sigmoid函数也...

一、感知机概念  1、感知机（perceptron）是1957年提出来的一种算法，作为神经网络（深度学习）的起源的算法，本书所提到的感知机应称为“人工神经元”或“朴素感知机”。学习感知机的构造是学习通向深度学习和神经网络的一种重要思想。2、感知机是什么：感知机接收多个输入信号，输出一个信号，信号可想象成具有流动性的电流、河流之类。如下图例子：  解释：x1, x2为输入信号，y为输出信号，w1, w2是权重，图中的圆圈可称为神经元或节点，输入信号被送往神经元时，会被分别乘以固定的权重(w1x1, w2x2), 神经元会计算传送过来的神经信号的总和。当超过某个界限时，才会输出1，也称为神经元被激...

Python解释器    1、python解释器也被称为“对话模式”，用户能够以和python对话的方式进行编程。windows平台下，cmd输入python，启动python解释器。   >>> 1 + 2 3  2、算术运算细节地方    **表示乘方 python 2.x中，int / int 结果为int; python 3.x中，int / int 结果为float    3、查看数据类型  >>> type(10) <class 'int'> >>> type(2.718) <class 'float'>...