读《深度学习》有感
最近一段时间有幸拜读了由Lan Goodfellow，Yoshua Bengio ， Aaron Courville撰写的《深度学习》一书，获益匪浅。先将该书的第一章和第二章的感想总结如下：
第一章
- 在人工智能的早期，那些对人类智力来说非常困难，但是对计算机来说相对简单的问题得到迅速解决，比如，那些可以通过一系列形式化解决的数学问题。人工智能真正的挑战 在于解决那些对人拉私活很容易执行、但很难形式化描述的任务，如识别人们所说的话或图像中的脸。对于这些问题，我们人类往往可以凭借直觉轻易地解决。
- 随着可用的训练数据量不断增加，深度学习变得更加有用。
- 随着时间的推移，针对深度学习的计算机软硬件基础设施都有所改善，深度学习模型的规模也随之增长。
- 随着时间的推移，深度学习已经解决日益复杂的应用，并且精度不断提高。
- 学习3次深度发展浪潮：20世纪40年代到60年代，深度学习的雏形初现在控制论中；20世纪80年代到90年代，深度学习表现为联结***；直到2006年，才真正以深度学习之名复兴。
- 层次：让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。
- 这些机器学习算法的性能在很大程度上依赖给定数据的表示。然而，对于许多人物来说，我们很难知道应该提取哪些特征。解决这个问题的途径之一是使用机器学习来发掘表示本身，二不仅仅把表示映射到输出。这种方法我们称之为表示学习。
- 深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。
- 就像计算机程序的长度不存在单一的正确值一样，架构的深度也不存在单一的正确值。
- 控制控制论Cybernetics，联结***Connnectionism，深度学习Deep Learning。
- 联结***的中心思想史，当网络将大量简单的计算单元连接在一起时可以实现智能行为。
- 在那个时候，人们普遍认为深度网络是难以训练的。现在我们知道，20世纪80年代就存在的算法能工做得非常好，但是知道2006年前后都没有体现出来。这可能仅仅由于其计算代价太高，而以当时可用的硬件难以进行足够的试验。
- 最重要的进展是，现在我们有了这些算法得意成功训练所需的资源。
- 监督深度学习算法在每类给定约5000个标注样本情况下一般讲达到可以接受的性能，当至少有1000万个标注样本的数据集用于训练时，它将达到或超过人类表现。
- 几十年来，我们的机器学习模型中每个神经元的连接数量已经与哺乳动物的大脑在同一数量级上。
- 神经图灵机，能学习读取存储单元和向存储单元写入任意内容。这种自我变成技术正处于起步阶段，但原则上未来可以适用于几乎所有的任务。
- 在强化学习中，如DeepMind的AlphaGo，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。
第二章主要讲了一些线性代数的概念：
- 标量、向量、矩阵、张量
- 矩阵和向量相乘
- 单位矩阵和逆矩阵
- 线性相关和生成子空间
- 范数
- 特殊类型的矩阵和向量
- 特征分解
- 奇异值分解
- Moore-Penrose伪逆（这个之前没接触过，着重看）
- 迹运算
- 行列式
TCL公司福利 372人发布
