首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
牛客145335972号
北京邮电大学 电子信息类
发布于北京
关注
已关注
取消关注
@林小白zii:
深度学习面经-RNN、LSTM、GRU
简介:RNN、GRU和LSTM都是用于处理序列数据的神经网络模型,它们具有记忆性质,适用于时间序列预测、自然语言处理等任务。在实际应用中,LSTM和GRU相对于传统的RNN通常表现更好,特别是在处理长序列和复杂任务时。选择使用哪种网络取决于任务的复杂性和数据的特点,通常可以通过实验对比来选择最适合的网络结构。下面总结了一些面试常问的相关面试题,其他系列面经请关注文章底部专栏:小白机器学习面试指南。持续更新中。简单说一下什么是RNN?RNN也叫循环神经网络,和传统的全链接神经网络相比,RNN每一层的神经元之间都有连接,同一层的神经元之间共享参数w,对于每一个神经元,对于每一个神经元,它首先会有一个输入x,对于这个输入x,有两步操作,一个是将它输出到下一层,另一步是将它输出到同一层的下一个神经元,会将这一层传来的信息和它这个神经元本身的输入再相加,再执行想同的操作,最后一个神经元输出能表示这个输入,比如一个句子,一篇文章的信息。因为参数共享,所以参数等个数减少了,但是可能会出现梯度消失和梯度爆炸的问题。RNN为什么会存在梯度消失的问题?目前优化神经网络的方法都是基于反向传播的思想,即根据损失函数计算的误差通过梯度反向传播的方式,指导深度网络权值的更新优化。在神经网络中,根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0。同理,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷大。对于RNN中梯度消失、梯度爆炸的问题,一般有什么解决方法?答:关于RNN中梯度爆炸和消失问题。下面介绍一些常用的方法来应对这些问题:梯度裁剪(Gradient Clipping):梯度裁剪是一种常用的方法,用于限制梯度的大小,防止梯度爆炸。简单来说,当梯度的范数超过一个预定义的阈值时,就将梯度进行缩放,使其不超过该阈值。这样可以避免梯度增长过快,保持训练的稳定性。改进的优化算法:传统的优化算法(如SGD)可能在处理梯度爆炸和消失时效果不佳。使用一些改进的优化算法,比如RMSprop、Adam等,可以在一定程度上缓解这些问题。这些算法结合了梯度的一阶矩和二阶矩信息,更智能地调整学习率,从而更好地处理梯度问题。使用更合适的激活函数:ReLU激活函数在深度网络中非常流行,但它对于解决梯度消失问题并不理想。尝试其他激活函数,如Leaky ReLU、Parametric ReLU、ELU等,可以减轻梯度消失问题,从而更好地训练深层网络。使用更复杂的RNN结构:一些改进的RNN结构,如LSTM(长短期记忆网络)和GRU(门控循环单元),设计用于更好地处理长期依赖和梯度问题。这些结构包含了更复杂的门控机制,可以控制信息的流动,减少梯度消失的可能性。注意力机制(Attention Mechanism):注意力机制可以在处理序列数据时,集中关注更重要的部分,从而降低梯度消失的风险。引入注意力机制可以让模型更加关注和利用输入序列的不同部分信息。Batch Normalization:批标准化是一种用于加速训练过程并稳定模型的技术。它可以帮助在每个层上保持激活的均值和方差稳定,从而减少梯度爆炸和消失的可能性。更小的学习率:如果梯度爆炸仍然是一个问题,尝试减小学习率。较小的学习率可以降低梯度爆炸的风险,但同时也可能增加训练时间。RNN的经典结构有哪些?答:从输入输出角度来看,有以下这么几种经典的结构:1对1:输入和输出一致,1对多:有1对N或N对1,1对N的场景有负荷分解,图像生成文字,类别生成语音或音乐等,N对1针对于序列分类。多对多:有N对N或N对M,N对N的场景有语音处理,时间序列,N对M的场景是机器翻译,文本摘要,阅读理解等,常见模型是encoder-decoder模型。RNN对输入长度不一致的文本怎么处理?RNN(循环神经网络)对输入长度不一致的文本可以通过以下方式进行处理:填充(Padding):在将文本送入RNN之前,可以将文本进行填充,使其达到固定长度。可以在文本的末尾添加特定的填充符号(如空格或特殊标记)来填充文本,使其长度与批量中最长的文本相同。这样可以保持批量数据的维度一致,方便进行批量运算。填充后的部分在RNN计算中通常被忽略,因为填充符号并不携带有意义的信息。动态填充:对于每个批量,可以动态地选择合适的填充长度,使得批量中的文本长度尽量接近。这样可以最大程度地利用数据,同时保持批量维度一致。动态填充可以避免过多的填充符号,减少计算量和内存占用。使用遮罩(Masking):在填充后的文本中,可以使用遮罩来标记填充部分。遮罩是一个与输入文本相同大小的二进制向量,在填充的位置为0,在非填充位置为1。通过遮罩,RNN在计算时可以忽略填充部分的影响,从而有效利用有效文本部分的信息。使用变长RNN:有些RNN的变种模型,如LSTM(长短期记忆网络)和GRU(门控循环单元),能够处理变长的序列数据。这些模型可以直接接受长度不一致的文本作为输入,并且能够自适应地处理不同长度的文本。在使用这些变长RNN时,不需要额外的填充或截断操作,模型会根据实际文本长度来进行计算。说一下RNN、LSTM、GRU它们是联系?RNN(循环神经网络):RNN是一种经典的循环结构神经网络。它的主要特点是将前一个时间步的输出作为当前时间步的输入,从而在处理序列数据时引入了时间上的依赖关系。然而,传统的RNN存在梯度消失或梯度爆炸的问题,导致长期依赖关系难以捕捉。LSTM(长短期记忆网络):LSTM是为了解决传统RNN中的梯度问题而提出的改进型网络。它引入了门控机制,通过遗忘门、输入门和输出门来控制信息的流动,从而有效地捕捉长期依赖关系。LSTM能够在序列数据中保留长期的记忆,适用于处理较长的文本序列和时间序列。GRU(门控循环单元):GRU是对LSTM的另一种改进型循环神经网络。它简化了LSTM的结构,仅使用了更新门和重置门,使得模型参数较少,计算复杂度较低。GRU在解决长期依赖问题的同时,也表现出较好的性能。LSTM有哪三个门?作用分别是什么?答:LSTM具有三个门控单元,分别是:输入门(Input Gate):输入门控制着当前时间步的输入信息中哪些部分将被纳入到当前时间步的细胞状态(cell state)中。输入门通过一个Sigmoid激活函数来决定每个输入的权重,将其缩放到0到1之间的范围。输入门的作用是用于确定更新细胞状态时,要更新多少来自当前时间步输入的信息。遗忘门(Forget Gate):遗忘门控制着前一时间步的细胞状态中哪些信息将被遗忘或丢弃。它通过一个Sigmoid激活函数来决定前一时间步细胞状态中每个元素的权重,将其缩放到0到1之间的范围。遗忘门的作用是用于决定在当前时间步细胞状态更新时,应该保留哪些信息。输出门(Output Gate):输出门控制着当前时间步的细胞状态中哪些信息将被传递到当前时间步的输出。输出门通过一个Sigmoid激活函数来决定细胞状态中每个元素的权重,将其缩放到0到1之间的范围。输出门的作用是用于确定细胞状态中的哪些信息应该被输出。通过输入门和遗忘门,LSTM能够选择性地更新和遗忘信息,从而保留重要的长期依赖关系。而通过输出门,LSTM能够选择性地输出细胞状态中的信息,产生最终的预测结果或在下一时间步继续传递有用的信息。手写LSTM公式?首先,定义一些符号:输入:当前时间步的输入特征为 x_t细胞状态(Cell State):c_t 表示当前时间步的细胞状态隐状态(Hidden State):h_t 表示当前时间步的隐状态(输出)LSTM的主要计算过程分为三个步骤:遗忘门、输入门和输出门。遗忘门(Forget Gate):遗忘门通过 Sigmoid 激活函数来决定前一时间步的细胞状态 c_{t-1} 中哪些信息将被遗忘。它的计算公式为:f_t = sigmoid(W_f * [h_{t-1}, x_t] + b_f)输入门(Input Gate):输入门通过 Sigmoid 激活函数来决定当前时间步的输入 x_t 中哪些信息将被加入到细胞状态 c_t 中。同时,使用双曲正切(Tanh)激活函数来计算新的候选细胞状态。i_t = sigmoid(W_i * [h_{t-1}, x_t] + b_i)Ĉ_t = tanh(W_c * [h_{t-1}, x_t] + b_c)更新细胞状态(Update Cell State):细胞状态 c_t 通过遗忘门和输入门进行更新:c_t = f_t * c_{t-1} + i_t * Ĉ_t输出门(Output Gate):输出门通过 Sigmoid 激活函数来决定当前时间步的细胞状态 c_t 中哪些信息将被输出为当前时间步的隐状态 h_t。同时,对细胞状态使用 Tanh 激活函数来计算隐状态。o_t = sigmoid(W_o * [h_{t-1}, x_t] + b_o)h_t = o_t * tanh(c_t)在上述公式中,W_f、W_i、W_c、W_o 表示权重矩阵,b_f、b_i、b_c、b_o 表示偏置向量。[h_{t-1}, x_t] 表示将前一时间步的隐状态 h_{t-1} 和当前时间步的输入特征 x_t 连接起来形成的向量。为什么LSTM模型中既存在sigmoid又存在tanh两种激活函数,而不是选择统一一种sigmoid或者tanh?这样做的目的是什么?答:sigmoid函数被用作各个门上,产生0~1之间的值,来判断是对信息进行记住还是遗忘。tanh用在了状态和输出上,是对数据的处理,可以替换成其他激活函数。LSTM解决了RNN的什么问题?为什么?答:LSTM解决了传统RNN中的梯度消失和梯度爆炸问题。传统的RNN在处理长序列数据时存在梯度消失或梯度爆炸问题,主要原因是在反向传播过程中,梯度会随着时间步的增加而指数级地增大或减小。这导致在训练过程中,网络在处理长序列时很难有效传播梯度,导致长期依赖关系难以捕捉。LSTM通过引入门控机制解决了传统RNN中的梯度消失和梯度爆炸问题。GRU和LSTM的区别?答:GRU和LSTM都是用于解决长期依赖问题的改进型循环神经网络(RNN)结构。它们在解决长期依赖问题上有相似之处,但也有一些不同点。以下是它们之间的主要区别:门控结构不同:LSTM具有三个门控:输入门(Input Gate)、遗忘门(Forget Gate)和输出门(Output Gate)。这三个门控通过sigmoid激活函数来控制信息的流动和细胞状态的更新。GRU具有两个门控:重置门(Reset Gate)和更新门(Update Gate)。重置门决定了过去信息在当前时间步的输入中有多少保留,而更新门决定了过去和当前信息在当前时间步的更新中所占的比例。参数数量不同:GRU的参数较少,因为它合并了LSTM的细胞状态和隐藏状态,并减少了一个门控。这使得GRU在计算上相对更轻量级。LSTM的参数较多,因为它有三个门控,每个门控都有自己的权重和偏置。细胞状态更新不同:LSTM的细胞状态由遗忘门、输入门和输出门三个门控决定,分别控制了细胞状态的遗忘、增益和输出。GRU的细胞状态由重置门和更新门两个门控决定,重置门控制了过去信息的保留,更新门控制了过去和当前信息的更新。计算效率不同:由于参数较少,GRU的计算效率通常高于LSTM,特别是在较大规模的模型或者大规模数据上。表现情况不同:在一些任务上,LSTM和GRU的表现可能会有所不同。在某些序列建模任务中,LSTM可能更适合处理长期依赖问题,而在另一些任务中,GRU可能表现得更好。总的来说,LSTM和GRU都是强大的RNN变种,用于处理序列数据和解决长期依赖问题。持续更新中
点赞 5
评论 11
全部评论
推荐
最新
楼层
网易互娱
校招火热招聘中
官网直投
相关推荐
牛客296407561号
05-16 23:41
中山大学 数学类
钉钉三面
钉钉三面AOP的原理?IOC是干嘛的?自动装配的原理?IOC在JVM层面是怎么实现的?(这个不会)类加载过程单例实现方式CSRF原理?技术层面是怎么实现的?同源策略怎么规避CSRF?https协议改变公钥怎么通知?http协议常见方法和字段Redis常见数据类型适用于什么场景反问:为什么课程上的东西从来不问? 大意就是学习能力,课本以外的东西。使用一个东西要明白他的原理。
阿里巴巴三面32人在聊
查看11道真题和解析
我的实习求职记录
点赞
评论
收藏
转发
Yenaly
05-17 13:26
已编辑
第一拖拉机制造厂拖拉机学院 计算机类
快手国际化客户端Android一面面经
总体感觉可以,但代码写的确实多一定要准备好mvp!!!!快手格外重视mvp!中途问了问计组,我没学就不问了首先问进程通信方式经典socket管道消息队列,问了问binder(不会),说Android还有啥,我说contentprovider,说了说使用场景介绍mvvm,和mvp进行比较(代码题)写一个mvp架构(我是真不会,我两年写mvvm写麻了!听说你了解设计模式说一下建造者模式说一下建造者模式的核心,并写一下(代码题),面试官比我还懂八股,我只会写不会说写一下单例并讲一下,经典双重校验锁,狂说,面试官很满意(代码题)开始问操作系统了,说说内核态用户态区别进程和线程区别说我简历很多网络相关,...
快手一面211人在聊
查看13道真题和解析
点赞
评论
收藏
转发
怡儿伞
03-31 18:21
东北农业大学 计算机类
金三最后一天
感觉更多是无奈吧考研考的稀烂,工作找的稀烂心比天高,人比猪懒记得当时还打算一个月拿下面试150,到头来只做完了1/3但即便如此,还是收获颇丰(收获了轻度玉玉症算吗,呵呵)虽然经过这么多,但还是感觉,这一个月来,尤其是3.16后充满目的性的这些日子,是大学四年来最充数的日子
点赞
评论
收藏
转发
最喜欢夏天的花生米很想去夏威夷
05-20 17:53
山东建筑大学 计算机类
第一次找实习,问这么细吗😂
点赞
评论
收藏
转发
美团sp_offer发放机
05-20 21:00
美团_ios/mac
求大家投下我们美团吧,白菜起包40,sp普遍50可是没人投
求大家投下我们美团吧,白菜起包40,sp普遍50可是没人投,我下面一堆hc 美团内推码:6Z9YCJ5 投递链接: https://zhaopin.meituan.com/web/campus 美团内推码:6Z9YCJ5 想来美团的走我内推,牛客私信我,我来推进面试offer流程。 如果自己已经投过也可以牛客私信我,秋招社招走我内推
投递美团等公司9个岗位 >
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
提到的真题
返回内容
全站热榜
1
...
换导师
1.2W
2
...
写在最后,一个大专人9年的自述
9748
3
...
爱华信华等华
7260
4
...
双非本 腾讯WXG暑期已offer | 附面经
7124
5
...
开摆了,写小说去了
6924
6
...
没offer的我们也很优秀偶
6560
7
...
荣耀一面
6015
8
...
计算机专业的爽了,彻底爽了
5242
9
...
华为暑期开奖
4906
10
...
华为暑期开奖
4635
正在热议
#
牛客帮帮团来啦!有问必答
#
845779次浏览
13280人参与
#
机械制造薪资爆料
#
322500次浏览
3749人参与
#
晒一晒我的offer
#
3493431次浏览
55499人参与
#
金三银四,你有感觉到吗
#
332234次浏览
4244人参与
#
0offer是寒冬太冷还是我太菜
#
431326次浏览
4964人参与
#
实习生如何通过转正
#
28195次浏览
366人参与
#
互联网公司评价
#
85897次浏览
1151人参与
#
我在牛爱网找对象
#
51315次浏览
337人参与
#
运营面经
#
15432次浏览
316人参与
#
如何缓解入职前的焦虑
#
36332次浏览
358人参与
#
海康威视求职进展汇总
#
102976次浏览
1227人参与
#
国企vs私企,你更想去?
#
21082次浏览
216人参与
#
毕业租房也有小确幸
#
27426次浏览
1500人参与
#
荣耀求职进展汇总
#
73426次浏览
747人参与
#
投了多少份简历才上岸
#
61063次浏览
981人参与
#
实习必须要去大厂吗?
#
14589次浏览
235人参与
#
你遇到过哪些神仙同事
#
19302次浏览
283人参与
#
职业发展规划如何回答
#
12331次浏览
85人参与
#
你已经投递多少份简历了
#
312297次浏览
4620人参与
#
实习工作,你找得还顺利吗?
#
43790次浏览
484人参与
牛客网
牛客企业服务