首页 > 试题广场 >

仍以该图输入，输出值Ground Truth为3。使用最小二

[填空题]

仍以该图输入，输出值Ground Truth为3。使用最小二乘误差损失函数，学习率设为0.1，经过一次SGD权值更新后，w1的值为1。

查看正确选项

pein531头像

pein531

直接用链式法则的话，梯度传来传去还挺晕的，好在网络不深，直接复合函数求导吧

令误差为：E = (y - relu(X1*w1)w7)^2

则有误差相对于w1的梯度：g_w1 = dE/dw1 = 2(y - relu(X1*w1))*(-w7*relu'(X1*w1)*X1) = 2*(3-6)*(1*1*1) = -6 这里relu求导后为1

得到更新后的误差：w1 = w1 - lr*g_w1 = 2 - 0.1*(-6)=2.6

发表于 2020-10-19 15:25:39 回复(0)

我大E了头像

我大E了

根据链式法则，计算参数w1偏导

$\frac {\delta E} {\delta w_1 } = \frac{\delta E}{\delta a} \bullet \frac {\delta a} {\delta w_***lt=$

其中a=w_1*x1，所以有

$\frac {\delta a} {\delta w_1} = x1=1$

因为激活函数为Relu，所以a'=relu(a)的导数为1.接下来

$\frac {\delta E} {\delta a^{'} } = \frac{\delta E}{\delta y} \bullet \frac {\delta y} {\delta a^{'}}$

其中

$\frac {\delta y} {\delta a^{'}} = w_7 = -1$

$\frac {\delta E}{\delta y} = \frac {\delta (y-y_{gt})^2 }{\delta y}=2*(y-y_{gt})=2*(3-6)=-6$

综上， $\frac {\delta E} {\delta w1} = 1 * 1 * (-6) = -6$

梯度更新，w1 = w1 - a*g_w1 = 2 - 0.1*(-6)=2.6

发表于 2020-02-24 01:50:16 回复(0)

提交观点

问题信息

算法工程师云从科技 2020

上传者：小小

难度：

2条回答 9收藏 506浏览

热门推荐

相关试题

找规律：5,10,26,65,17...

算法工程师云从科技 2020

评论(1)
看图回答

判断推理 2020 人力资源安永审计税务服务风险管理管理咨询行政管理

评论(2) 来自职能类模拟题2
看图回答

判断推理 2020 人力资源安永审计税务服务风险管理管理咨询行政管理

评论(3) 来自职能类模拟题2
你身边有哪些人还没有使用滴滴，你认...

用户研究

评论(1)
怎么做一个需求

需求分析

评论(1)

扫描二维码，关注牛客网
意见反馈
下载牛客APP，随时随地刷题

扫一扫，把题目装进口袋

求职之前，先上牛客: 扫描二维码，进入QQ群



扫描二维码，关注牛客公众号

公司地址：北京市朝阳区北苑路北美国际商务中心K2座一层-北京牛客科技有限公司
联系方式：010-60728802 投诉举报电话：010-57596212（朝阳人力社保局）
牛客科技© All rights reserved admin@nowcoder.com
京ICP备14055008号-4 增值电信业务经营许可证营业执照人力资源服务许可证
京公网安备 11010502036488号