读《深度学习》第六章有感
今天读了《深度学习》第六章的内容，第六章内容是关于深度前馈网络（deep feedforward network）
这一章属于第二部分——“深度网络：现代实践”。之前曾经在豆瓣上看到有人说过这一部分是属于“玄学领域” - - ! 哈哈，也是醉了，不过也从侧面表现出了这一部分的"高深"。
深度前馈网络是典型的深度学习模型。这种模型被称为前向的，因为信息流过x的函数，流经用于定义f的中间计算过程，最终到达输出y.在模型的输出和模型本身之间没有反馈连接。
前馈网络对于机器学习从业这是极其重要的。它们是许多重要商业应用的基础。
在第六章中，作者从异或问题（XOR）入手，说明这种线性不可分的问题在向隐藏层引入非线性激活函数以后，可以映射到一个新空间，并在新空间线性可分，展现了深度前馈网络的能力。然后，分别从代价函数、输出单元、隐藏单元三个方面介绍了深度前馈网络的常见的设计方法。最后，作者指出，根据万能近似定理，神经网络在满足某些条件的情况下可以逼近任意函数，因此是一种非常强力的模型。
关于万能近似定理（universal approximation theorem）近似可以理解为，如果至少有一个隐藏层使用了前面所说的激活函数，且输出层使用线性变换，那么在隐藏单元足够的情况下，其可以逼近任意函数。但是实际使用时，使用单个隐藏层可能会导致不能正确学习和泛化，因此需要更深的模型。
这里重点说一下学习异或函数XOR
对于
这样的数据，由于其是线性不可分的，因此不能使用线性模型分隔开。要想将其完美地分开，需要通过一些非线性变化将其映射到一个空间
里，使样本经过映射以后在新的空间线性可分。神经网络能做到这一点的原因就是在隐藏层的隐藏单元使用了非线性变换（称为激活函数）。书中使用的是整流线性单元（ReLU），变换以后的数据变得线性可分