写在前面  【Make YOLO Great Again】栏目专注于从更实战，更深刻的角度解析YOLOv1-v7这个CV领域举足轻重的算法系列，并给出其在业务侧，竞赛侧以及研究侧的延伸思考。欢迎大家一起交流学习💪，分享宝贵的ideas与思考～  大家好，我是Rocky。 近年来YOLO系列层出不穷，更新不断，已经到v7版本。Rocky认为不能简单用版本高低来评判一个系列的效果好坏，YOLOv1-v7不同版本各有特色，在不同场景，不同上下游环境，不同资源支持的情况下，如何从容选择使用哪个版本，甚至使用哪个特定部分，都需要我们对YOLOv1-v7有一个全面的认识。 故Rocky将YOLO系列每个...

CSPNet的贡献  增强了CNN的学习能力，能够在轻量化的同时保持准确性。 降低计算瓶颈。 降低内存成本。  CSPNet介绍 作者认为在神经网络推理过程中计算量过高的问题是由于网络优化中的梯度信息重复导致的。CSPNet通过将梯度的变化从头到尾地集成到特征图中，在减少了计算量的同时可以保证准确率。 CSPNet不仅仅是一个网络，更是一个处理思想，可以和ResNet、ResNext、DenseNet、EfficientNet等网络结合。 从下图可以看出，CSPNet与其他模型结合后的效果：  CSPNet的结构 作者给出了几种设计思路：  上图中的Transition Layer代表过渡层，...

U-Net U-Net论文卷积网络被大规模应用在分类任务中，输出的结果是整个图像的类标签。然而，在许多视觉任务，尤其是生物医学图像处理领域，目标输出应该包括目标类别的位置，并且每个像素都应该有类标签。另外，在生物医学图像往往缺少训练图片。所以，Ciresan等人训练了一个卷积神经网络，用滑动窗口提供像素的周围区域（patch） 作为输入来预测每个像素的类标签。 这个网络有两个优点：  输出结果可以定位出目标类别的位置。 由于输入的训练数据是patches，这样就相当于进行了数据增广，解决了生物医学图像数量少的问题。  但是，这方法也有两个很明显的缺点：  首先，他很慢，因为这个网路必须训练每个...

数据集不均衡带来的问题 首先我们考虑一个二分类问题，比如区分一张图片里的是一只猫还是一只狗。若数据搜集的时候只找到了1000张猫的图片和40000张狗的图片作为训练集。如果直接把这41000张图片放在一起，然后用mini-batch的方法进行训练，就会出现==数据不均衡==的问题。 比如每次迭代的样本数量为100个，那么平均下来每次样本中猫的数量通常只有1、2个。这样的结果是计算损失函数时，狗的图片比重太大，所以相当于是针对狗的图片进行了充分的训练。猫的图片带来的损失的影响很小，所以猫的特征就并不容易被学习到，这会影响分类器的最终性能（可能猫无法被识别）。 所以在实际工程中或是实验中，我们必须...

ROC和AUC ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。 ROC曲线的面积就是AUC（Area Under Curve）。 AUC用于衡量二分类问题机器学习算法的性能（泛化能力）。 ROC曲线，通过将连续变量设定出多个不同的临界值，从而计算出一系列正真率和假正率，再以假正率为横坐标、正真率为纵坐标绘制成曲线，曲线下面积越大，表示准确率越高。在ROC曲线上，最靠近坐标图左上方的点为真正率和假正率均较高的临界值。 如下图所示：  其中， FPR（False Positive Rate）公式：。 TPR（True Positive Rat...

一.误差、偏差和方差的理解 我们衡量一个机器学习算法是否好的时候，最直接的方法是衡量算法预测和测量数据的误差。比如对于训练数据，损失函数就是衡量这种误差的方法。 训练一个神经网络时，损失函数降到一个非常小的值，我们说网络很好地收敛了。然而当网络训练好以后，是否能对训练数据以外的数据也做出很好的预测呢？其实这才是更看重的指标，这种对训练数据以外数据做出准确预测的能力称为泛化（generalization）能力。 接下来我们先介绍误差、偏差和方差的相关知识： 误差 误差（Error）：一般地，我们把机器学习的实际预测输出与样本的真实输出之间的差异称为“误差”。 误差（Error） = 偏差（Bia...

最近有很多感悟。结合任正非先生和马斯克先生的一些讲话，我对AI行业的未来有了更多的思考和理解，分享给大家，与大家共勉～1. 大环境的经济变化，国际局势变化都会影响到每个人的生活，宏观的逻辑这么直接的影响着我们，这也是我第一次有这么深刻的感受。我们该怎么做呢？为未来做准备，沉淀成长自己，在这个周期的前期让自己变得更强大；保持现金流的稳定与安全，是度过危机和给自己安全感的必要支撑。2. AI行业一直说要赋能各行各业，但我觉得从今年开始，AI才会真正开始全力落地，因为各个公司都开始追求现金流，利润，降本增效；而不是之前那样，只烧钱发paper。3. 广积粮，筑高墙。我相信我们通过不断的认知迭代；并扩展我们思考的深度，广度以及跨界性；最后在提升自己综合能力的基础上，去进入这个周期里的增量行业以及领域，会是一个可持续和踏实的逻辑。

机器学习中通常根据数据是否有标签可以分为监督学习(supervised learning)、非监督学习(unsupervised learning) 和半监督学习(semi-supervised learning)。如果需要算法与环境交互获得数据则是强化学习(reinforcement learning)。 一.监督学习 监督学习的意思就是用来训练网络的数据，我们已经知道其对应的输出，这个输出可以是一个类别标签，也可以是一个或者多个值。模型经过训练以后，遇到新来的数据，可以预测对应的标签或者值。 ==监督学习是最常见的应用，已知标签的分类和回归问题都属于监督学习。== 二.非监督学习 非监督学...

逻辑回归是用在分类问题中的典型算法。 来考虑简单的二分类问题，我们进行一整套的代码流程学习： 步骤一：生成模拟的数据集 为了编写代码模拟二分类任务，我们的第一步工作是先生成用于测试的数据集。首先看下生成的用于模拟的数据集长得样子，它有两个特征w1，w2组成，共有200个样本点，现在的任务是要对这个数据集进行分类。  下面介绍，如何用梯度下降法，求出两个特征对应的权重参数，进而能正确的预测，当一个新的样本点来的时候，能预测出属于0类，还是1类。 步骤二：梯度下降求权重参数 设定一个学习率迭代参数，当上一次迭代的损失函数与当前的损失函数的差小于阈值时，计算结束，我们将得到3个权重参数，其中包括两个...

梯度爆炸和梯度消失问题 一般在深层神经网络中，我们需要预防梯度爆炸和梯度消失的情况。 梯度消失（gradient vanishing problem）和梯度爆炸（gradient exploding problem）一般随着网络层数的增加会变得越来越明显。 例如下面所示的含有三个隐藏层的神经网络，梯度消失问题发生时，接近输出层的hiden layer3的权重更新比较正常，但是前面的hidden layer1的权重更新会变得很慢，导致前面的权重几乎不变，仍然接近初始化的权重，==这相当于hidden layer1没有学到任何东西，此时深层网络只有后面的几层网络在学习，而且网络在实际上也等价变成了...

K折交叉验证的作用 当有多个不同的模型（结构不同、超参数不同等）可以选择时，我们通过K折交叉验证来选取对于特定数据集最好的模型。 K折交叉验证的流程  将含有N个样本的数据集，分成K份，每份含有个样本。选择其中一份作为验证集，另外K-1份作为训练集，测试集就有K种情况。 在每种情况中，用训练集训练模型，用验证集测试模型，计算模型的泛化误差。 交叉验证重复K次，平均K次的结果作为模型最终的泛化误差。 K的取值一般在【2，10】之间。K折交叉验证的优势在于，同时重复运用随机产生的子样本进行训练和验证，10折交叉验证是最常用的。 训练集中样本数量要足够多，一般至少大于总样本数的50%。 训练集和验证...

首先我们先上一个整体的公式： 混淆矩阵    真实情况 T或F 预测为正1，P 预测为负0，N    本来的label为1，则预测结果正的话为T，负的话为F TP（正样本预测为正） FN（正样本预测为假）   -- -- --   本来label为0，则预测结果正的话为T，负的话为F FP（负样本预测为正） TN（负样本预测为负）   混淆矩阵可以清楚的看出错判的样本，以便后续训练重视。 混淆矩阵中的相关名词也是我们后面要将的几个评价指标的重要变量。 Error Rate（错误率）和Accuracy（准确率） Error Rate（错误率）：分类错误的样本数占样本总数的比例。 公式： Accu...

我老家在温州，自己大学加研究生6年半在北京度过，实习也在上海呆过半年，最后毕业找工作的时候，也收到了很多北京，上海和杭州的offer，最后思索再三，还是决定去杭州发展了。当时对自己思考的压迫很强，因为我觉得就和大学选择城市，再选学校一样，工作选择城市也是非常重要的，特别是当时2020年疫情已经发生的背景下。当时我的判断逻辑如下：离家近。杭州作为浙江的省会，人文环境与风俗习惯我会比较容易适应，我也认为杭州有足够的势能可以持续发展，我也有意愿回到浙江，在浙江工作生活。将城市与自己进行适配。我在北京创业多次，我深深地感受到社会是一个复杂系统，不能单单只有学生的应试考试思维，更多要对城市有全面的审视。北上广深足够繁荣，甚至与杭州相比依然有更强的势能，但是那些繁华能与你相匹配吗？这是需要思考的。毕业是住朝阳大悦城附近还是租北六环南六环？也是需要思考的。不同的人在同样的年龄却会在不同的发展阶段中，不同的发展阶段可以使用的城市的势能也是不一样的。我认为我更适合杭州的势能，我觉得我能更快的去融入，从容。大环境因素。疫情对我们的生活造成了一定的影响，要是远在北京或者外省，不同省份的政策都会不同，会对出行生活造成一定的不便。而我也相信杭州的疫情防控能力与办事效率，这一点在我来杭州之后也更加的肯定了。个人因素。女朋友是杭州人，她虽然愿意和我去北京或者上海，但是还是觉得杭州的体量对现阶段的我们来说是足够的，我们能够在杭州成长学习沉淀。现在来杭州已经一年半了，回过头来看，我当时的一些判断和思考还是准确的。疫情还是在反反复复，我们可以在浙江省内持续成长，而不一定要跨省出行。整个经济环境发生变化，国际局势风雨变幻，乌俄冲突，互联网进入后半场以及互联网底层逻辑彻底改变等，都影响着我们生活的方方面面，这时很多留在北京和上海的同学和朋友们，很多人也开始从互联网公司毕业，开始更踏实的思考，很多人回到了家乡考公等。很多决策与判断，都需要1-2年的时间才能有效复盘和回顾，我也会持续思考与成长，尽量优化这个时间周期。

一.集成学习(Ensemble)介绍 集成学习也称为模型融合(Model Ensemble)。是一种有效提升机器学习效果的方法。不同于传统的机器学习方法在训练集上构建一个模型，集成学习通过构建并融合多个模型来完成学习任务。 首先我们通过下图的一个例子来介绍集成的基本概念，下图是一个二分类问题。 图中的数据均是测试数据，a、b、c分别是三个不同模型在测试集上的分类结果。需要注意的是，一般在做集成的时候，相同模型结构的不同参数是比较常见的情况(同质模型融合(Homogeneous Model Ensemble))。但是不能死板，我们也可以把不同模型甚至完全不同的算法做集成学习(异质模型融合(Het...