1.请分别简述利用原始CNN和RNN对短文本进行分类的大致过

[问答题]

1.请分别简述利用原始CNN和RNN对短文本进行分类的大致过程
2.如果使用原始RNN对长文本（文章）进行分类，又是怎样的一个过程

查看答案及解析

可怜可怜吧，给个offer吧

1：用CNN卷积的情况，这里面有几个关键点：一个是文本跟图片不一样，图片有长宽，然后还有深度（RGB)。对应到文本上，假设文章总共N个词，每个词嵌入维度K维，那么输入是N *K的，N可以理解为高度，K作为长度，深度为1。那么卷积的时候的特征抽取器（filter）高度h一般设置多大呢？
一般可以从3开始，表示捕获住trigram特征。更多的是使用几种不同的filter（比如有高度各为2，3，5的）。特征抽取器（filter）的长度一般设置为词向量的维度，这样保证每个filter抽取出来一个N-h+1个特征点，而不是一个平面（想想为什么）。最重要的，在文本上work的pooling层一般是max-pooling,对每个filter应用整个序列上的max-pooling得到一个特征点（也有用k-max-pooling得到k个点），组合多个filter就能得到一系列特征，最后一个全连接层做分类。这里为什么是max-pooling而不是min-pooling呢？一般来说，pooling后我们引入非线性是用Relu，relu对于小于0的直接就不激活了。
然后我们对比图像的深度，文本一般深度只有一个，如何增加深度以及为什么增加呢？
一般我们的词向量都是先预训练出来的，然后在一个特定任务上使用，梯度会回传回来进一步finetune，如果语料不是特别大，这个finetune过程只会对部分词进行更新，有些词就一直不动，这样在测试阶段，出现那些没finetune到的词就会有所偏差。我们可以同时使用两份词向量（相当于通道数为2，深度加深为2），一份finetune一份静态地不更新，来缓解前面提到的问题。

对于RNN做文本分类，相当于把每个词作为一个时间节点，把词向量作为每个单元的输入特征，一般会组合前向以及后向来构成双向特征，计算后每个单元有个状态特征以及输出特征，文本分类一般组合每一个单元的输出特征求个平均喂给全连接层来做分类。求平均这个操作可以替换为更通用的注意力机制，复杂度更高点，效果更好。复杂点的模型会分层来做，句子界别的rnn然后attention，最后文档级别在前一层的基础上再rnn+attention，效果据说能更进一步提升。

2：

发表于 2019-06-28 15:41:47 回复(0)

提交观点

问题信息

C++工程师算法工程师测试工程师 2019 Java工程师招商银行信用卡中心

上传者：小小

难度：

1条回答 35收藏 967浏览

1.请分别简述利用原始CNN和RNN对短文本进行分类的大致过

问题信息

热门推荐

相关试题