Macheine Learning Yearning学习笔记(一)

更多实时更新的个人学习笔记分享，请关注：
知乎：https://www.zhihu.com/people/yuquanle/columns
微信订阅号：AI小白入门
ID: StudyForAI

</center>

前面Chapter1~Chapter 4谈了一些基本概念

Chapter 1、Why Machine Learning Strategy (为什么要学习机器学习策略)

这一章告诉我们机器学习策略的重要性，以一个实际的机器学习项目切入: 猫检测算法，这是一个经典的计算机视觉领域的问题，判断给定一张图片是否是猫。

当我们提出的算法准确性还不够好的时候，我们应该怎么做？这个时候我们可能会面临很多想法的选择，例如：
(1) 获取更多的数据：收集更多的猫的照片
(2) 收集更多样化的训练集。例如，猫在不寻常的位置的图片;不寻常颜色的猫;不同相机设置下拍摄出的猫图; …
(3) 增加算法运算的时间，比如增加梯度下降算法的迭代次数
(4) 尝试更大的神经网络，比如增加网络的层数(网络的深度)，隐藏单位的个数(网络的宽度)，这样网络会具备更多的参数，从而表征能力更强
(5) 尝试更小的神经网络
(6) 尝试添加正则化（例如L2正则化）
(7) 改变神经网络架构（激活功能，隐藏单位数等）
(8) 还有许多其它的idea尝试……

在这些可能会提高准确性的想法中，如果一开始就选择的好，那么会节约很多时间，从而提升效果；如果选择的不恰当，那么可能会浪费大量的时间去进行这些尝试。那么知道了这些，当我们遇到这种情况时，我们应该如何抉择？NG的这本书就是出自这个目的写的。很多机器学习问题给人们留下了很多可以借鉴的经验，这些经验会告诉你，那些尝试是有用的，那些尝试是作用不大的，而学习这些经验可能会节约我们很多瞎尝试的时间。

Chapter 2、How to use this book to help your team (如何使用本书帮助团队)

这一章说了自己为什么每一章都写那么短，这样打印出来也比较方便，随时可看_.

Chapter 3、Prerequisites and Notation(基本概念)

要熟悉基本的机器学习概念，如果不熟悉，可以先移步NG的经典机器学习视频。

监督学习(supervised learning)：使用标记的训练样本（x，y）去学习一个从x映射到y的函数。

监督学习包括：线性回归(linear regression)、逻辑回归(logistic regression)、K-近邻算法(K-Nearest Neighbors)、决策树(Decision Trees)、朴素贝叶斯(Naive Bayesian)、神经网络(neural networks)(也称为”deep learning”)等。

无监督学习包括：聚类(clustering)、降维(reducing dimensionality)

Chapter 4、Scale drives machine learning progress (数据规模驱动了机器学习的进程)

深度学习(神经网络)不是新东西，已经存在几十年了，为什么现在才火起来？这个主要是由以下原因：
(1)数据可用性：人们在数字设备(如电脑)的活动尝试了大量的数据，这些数据可以用来训练和喂给(feed)我们的学习算法。
(2)算力：现在计算机的计算能力提升，使得能够计算更复杂网络和使用更大的数据训练。

举个例子：
即使数据量足够大，传统算法(如逻辑回归)在某个任务上表现性能也是”平稳”的。如下图，意思就是说即使给它更多的数据，算法也不会再有很大的提升效果。

这其实就是在某些任务上，传统算法的函数表征能力不足以学习到这么多数据。这个时候神经网络就登上历史舞台了。

在这种情况下，我们会得到更好的性能，当我们有：
（1）训练一个非常大的神经网络，使其在上面的绿色曲线上;
（2）有大量的数据。
当然神经网络的架构也很重要，这一点也有很多创新。