cz教程笔记第一章(下)和第二章

为什么需要深度神经网络

• 这里的深度指的是层数多，而不是神经元的个数多；
• 输入层一般不计算在层数内；
• 对于深度神经网络而言，后面的神经元会在前面神经元的基础上进行分析学习，正是神经网络的这种层次性，使得迁移学习成为可能；
• 每一层神经元都会负责学习特定的特征，比如底层神经元学习通用的特征；

核对矩阵的维度

• 用assert核对矩阵的维度；assert用于判断一个表达式，在表达式为false时触发异常；

################################第二章分界线##################################

正则化

• 正则化并非只是以最小化损失为目标，而是以最小化损失和复杂度为目标；
• L2正则化是一种常见的方法，其正则化项是权重的平方和；；
• 其实现分为2步：第1步在成本函数后加点"尾巴"；第2步在计算偏导数的时候加点"尾巴"；
• L2正则化可以避免(缓解过拟合)的原因：相比于不使用正则化，L2可以使得权重变得更小；权重变得更小意味着在数据集里加入一些随机噪声，网络的行为不会有太大的变化，这反过来使正则化的网络很难学习数据集中的局部噪声，迫使网络只学习数据中的通用特征；