首页 / 梯度下降
#

梯度下降

#
3842次浏览 14人互动
此刻你想和大家分享什么
热门 最新
头像
2023-08-05 05:33
已编辑
香港大学 推荐算法
机器学习面经-优化函数、激活函数、损失函数
一、简介在机器学习和深度学习中，激活函数、损失函数和优化函数是三个重要的概念，也是在面试中很容易考察你在项目中这些函数选择的时候常问的一些问题。它们在神经网络和其他学习算法中发挥关键作用。激活函数（Activation Function）是神经网络中的一个非常重要的组件，它定义了神经元（或者称为节点）的输出。每个神经元都会将其输入加权求和后通过激活函数进行非线性转换，使得神经网络能够学习复杂的非线性关系，激活函数引入非线性是因为多个线性层的组合仍然是线性的，而引入非线性激活函数使得神经网络可以学习更加复杂的函数。常见的激活函数包括 Sigmoid、ReLU（Rectified Linear U...
小白机器学习面试指南
点赞 评论 收藏
分享
头像
2023-06-03 21:47
阿里巴巴_算法工程师
深度学习基础入门篇[三]：优化策略梯度下降算法：SGD等
深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW 1.梯度下降算法（优化器） 1.1 原理解释 如果我们定义了一个机器学习模型，比如一个三层的神经网络，那么就需要使得这个模型能够尽可能拟合所提供的训练数据。但是我们如何评价模型对于数据的拟合是否足够呢？那就需要使用相应的指标来评价它的拟合程度，所使用到的函数就称为损失函数(Loss Function)，当损失函数值下降，我们就认为模型在拟合的路上又前进了一步。最终模型对训练数据集拟合的最好的情况是在损失函数值最小的时候，在指定数据集上时，为损失函数的平均值最小的时候。 由于我们一般情况下很...
深度学习入门到进阶
点赞 评论 收藏
分享
玩命加载中
牛客网
牛客网在线编程
牛客网题解
牛客企业服务