在本章中，我们介绍几种具体的生成模型，这些模型可以使用第十六章至第十九章中出现的技术构建和训练。所有这些模型在某种程度上都代表了多个变量的概率分布。有些模型允许显式地计算概率分布函数。其他模型则不允许直接评估概率分布函数，但支持隐式获取分布知识的***作，如从分布中采样。这些模型中的一部分使用第十六章中的图模型语言，从图和因子的角度描述为结构化概率模型。其他的不能简单地从因子角度描述，但仍然代表概率分布。玻尔兹曼机玻尔兹曼机最初作为一种广义的“联结***’’ 引入，用来学习二值向量上的任意概率分布。玻尔兹曼机的变体（包含其他类型的变量）早已超过了原始玻尔兹曼机的流行程度。在本节中，我们简要介绍...

许多概率模型很难训练的原因是很难进行推断。在深度学习中，通常我们有一系列可见变量v和一系列潜变量h。推断困难通常是指难以计算p(h|v) 或其期望。而这样的***作在一些诸如最大似然学习的任务中往往是必需的。深度学习中难以处理的推断问题通常是由于结构化图模型中潜变量的相互作用。这些相互作用产生于一个潜变量与另一个潜变量或者当V-结构的子节点可观察时与更长的激活路径相连。(左) 一个隐藏单元存在连接的半受限玻尔兹曼机（semi-restricted Boltzmann Machine）(Osindero and Hinton, 2008)。由于存在大量潜变量的团，潜变量的直接连接使得后验分布难以...

深度学习为研究者们提供了许多建模方式，用以设计以及描述算法。其中一种形式是结构化概率模型（structured probabilistic model）的思想。我们曾经在第3.14 节中简要讨论过结构化概率模型。此前简要的介绍已经足够使我们充分了解如何使用结构化概率模型作为描述第二部分中某些算法的语言。现在在第三部分，我们可以看到结构化概率模型是许多深度学习重要研究方向的关键组成部分。作为讨论这些研究方向的预备知识，本章将更加详细地描述结构化概率模型。章内容是自洽的，所以在阅读本章之前读者不需要回顾之前的介绍。结构化概率模型使用图来描述概率分布中随机变量之间的直接相互作用，从而描述一个概率分布...

大多数表示学习算法都会在尽可能多地保留与输入相关的信息和追求良好的性质（如独立性）之间作出权衡。表示学习特别有趣，因为它提供了进行无监督学习和半监督学习的一种方法。我们通常会有巨量的未标注训练数据和相对较少的标注训练数据。在非常有限的标注数据集上监督学习通常会导致严重的过拟合。半监督学习通过进一步学习未标注数据，来解决过拟合的问题。具体地，我们可以从未标注数据上学习出很好的表示，然后用这些表示来解决监督学习问题。贪心逐层无监督预训练无监督学习在深度神经网络的复兴上起到了关键的、历史性的作用，它使研究者首次可以训练不含诸如卷积或者循环这类特殊结构的深度监督网络。我们将这一过程称为无监督预训练（u...

本章从使用卷积运算的动机出发，介绍了卷积运算的相关原理和卷积网络提供的各种工具，最后对卷积网络在深度学习发展史中的作用做出评价。 卷积网络（CNN）是一种专门用来处理具有类似网络结构的数据的神经网络。（其中至少在一层中使用卷积运算替代矩阵乘法运算） 9.1 卷积运算 卷积(英语：Convolution)是通过两个函数f 和g 生成第三个函数的一种数学算子，表征函数f 与g经过翻转和平移的重叠部分的面积。  其中第一个参数叫做输入，第二个参数叫做核函数。 许多神经网络库会是实现一个相关的函数称为互相关函数，和卷积运算一样但是并没有对核进行翻转。 离散卷积可以看做矩阵的乘法，矩阵每一行中的元素都与...

第10章 序列建模：循环和递归网络   循环神经网络（recurrent neural network）或 RNN是一类用于处理序列数据的神经网络。是专门用于处理序列 x(1), . . . , x(τ )的神经网络。循环网络可以扩展到更长的序列（比不基于序列的特化网络长得多）。大多数循环网络也能处理可变长度的序列。   对比：传统的全连接前馈网络会给每个输入特征分配一个单独的参数，所以需要分别学习句子每个位置的所有语言规则。相比之下，循环神经网络在几个时间步内共享相同的权重，不需要分别学习句子每个位置的所有语言规则。   展开计算图   计算图是形式化一组计算结构的方式，如那些涉及将输入和参...

深度学习算法在许多情况下都涉及到优化。例如，模型中的进行推断（如PCA）涉及到求解优化问题。我们经常使用解析优化去证明或设计算法。在深度学习涉及到的诸多优化问题中，最难的是神经网络训练。甚至是用几百台机器投入几天到几个月来解决单个神经网络训练问题，也是很常见的。因为这其中的优化问题很重要，代价也很高，因此研究者们开发了一组专门为此设计的优化技术。本章会介绍神经网络训练中的这些优化技术。 本章主要关注这一类特定的优化问题：寻找神经网络上的一组参数，它能显 著地降低代价函数J(o)，该代价函数通常包括整个训练集上的性能评估和额外的正则化项。 学习和纯优化有什么不同 用于深度模型训练的优...

本章中的某些章节涉及机器学习中的标准概念。如果你已经熟悉了这些概念，可以随意跳过相关章节。然而，本章的大多数内容是关于这些基本概念在特定神经 网络中的扩展概念。 深度学习的背景下，大多数正则化策略都会对估计进行正则化。估计的正则化以偏差的增加换取方差的减少。一个有效的正则化是有利的‘‘交易’’，也就是能显著减少方差而不过度增加偏差。我们在第五章中讨论泛化和过拟合时，主要侧重模型族训练的3 个情形：（1）不包括真实的数据生成过程——对应欠拟合和含有偏差的情况，（2）匹配真实数据生成过程，（3）除了包括真实的数据生成过程，还包括许多其他可能的生成过程——方差（而不是偏差）主导的过拟合。正则化的目标...