RNN（基于lstm） 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。 对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一 [2] ，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的循环神经...

CNN(基于LeNet-5实例) CNN由纽约大学的Yann LeCun于1998年提出。CNN本质上是一个多层感知机，其成功的原因关键在于它所采用的局部连接和共享权值的方式，一方面减少了的权值的数量使得网络易于优化，另一方面降低了过拟合的风险。CNN是神经网络中的一种,的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。在二维图像处理上有众多优势，如网络能自行抽取图像特征包括颜色、纹理、形状及图像的拓扑结构；在处理二维图像问题上，特别是识别位移、缩放及其它形式扭曲不变性的应用上具有良好的鲁棒性和运算效率等。 CNN的泛化能力要显著优于其它方法，卷积神经网络已...

mnist神经网络实例(keras) MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片。下载下来的数据集被分成两部分：60000行的训练数据集（mnist.train）和10000行的测试数据集。每一个MNIST数据单元有两部分组成：一张包含手写数字的图片和一个对应的标签。每一张图片包含28X28个像素点。我们把这个数组展开成一个向量，长度是 28x28 = 784。  关键代码  (X_train,Y_train),(X_test,Y_test) = mnist.load_data() #导入训练集，测试集 X_train = X_train.reshape(60000,78...

keras的蚊香实例  关键代码  model = Sequential() model.add(Dense(units=8,activation='relu',input_dim=2)) model.add(Dense(units=8,activation='relu')) model.add(Dense(units=8,activation='relu')) model.add(Dense(units=1,activation='sigmoid')) model.compile(loss='mean_squared_error',optimizer=SGD(lr=0.05),metrics...

两个x的简易神经网络  关键代码  dedw1 = deda * dadz * dzdw1 #w1的斜率 dedw2 = deda * dadz * dzdw2 #w2的斜率 dedb = deda * dadz * dzdb #b的斜率 w1 = w1 - alpha * dedw1 w2 = w2 - alpha * dedw2 b = b - alpha * dedb

两个输入一个隐藏层  将直线变为曲线

激活函数 sigmoid 函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid作为激活函数有以下优缺点：优点：平滑、易于求导。缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。 Sigmoid函数由下列公式定义      关键代码  z = w * x + b a = 1/(1+np.exp(-z)) #使用激活函数处理z = w*x + b

梯度下降 随机梯度下降和批量梯度下降  随机梯度下降关键代码  x = xs[i] #xs，ys都是numpy的数组 y = ys[i]   批量梯度下降关键代码  k = 2*np.sum(xs**2)*w + np.sum(-2*xs*ys) #直接利用array的广播将xs,ys内的数据处理了 k = k / 100 #因为是一次性求w所以需要除以100

rosenblatt平方误差 适合训练数据集较小的情况   关键代码  es = (ys - y_pre) ** 2 #平方误差 sum_e = np.sum(es) #平方误差和 ws = np.arange(0,3,0.1) #将区间为(0,3,0.1)的w数列带入for求e  绘制e与w的关系图（w∈[0,3]），为开口向上的一元二次图像，最低点即为最佳w。e = (1/100) * np.sum((ys - w * xs) ** 2)

rosenblatt 以一个神经元为例（y=wx），学习率alpha不能太大否则区间太大无法测的最佳权重w，也不能太小否则训练时间太长。适合训练集小的训练，因为直接计算求出最佳w，所以计算量很大。  关键实验代码：  e = y - y_pre y_pre = x*w alhpa = 0.05 #学习率 w = w + aplha*e*x #确定最佳权重w   预测函数与原来的散点图:

pandas Pandas 是 Python 语言的一个扩展程序库，用于数据分析。Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。Pandas 可以对各种数据进行运算操作，比...

ImageNet Classification with Deep Convolutional Neural Networks 学习笔记  Deep Convolutional Neural Network 深度卷积神经网络(DCNN);  Abstract 概要 convolutional adj. 卷积的；回旋的；脑回的;high-resolution 高分辨率;state-of-the-art 最先进的;parameter 参数;neurons 神经元;layer 层;max-pooling layers 最大池化层;softmax:softmax 函数通常被用于将原始分数（raw sc...