如何把BERT用到文本生成中

在知乎上提了问题没有人理，来牛客看看有没有大佬可以帮助我。最近在尝试把BERT模型放入seq2seq中，但是效果不好，不怎么收敛。我是直接把GRU encoder换成了BERT，然后decoder依旧是GRU，优化方式是ADAM，但是loss下降不下去，不管怎么调整学习率都没什么用。想问问大家这是为啥，是BERT跟RNN不兼容吗 。感觉换一个强大的预训练过的encoder不应该更好吗？我的数据量并不大，就8万左右。如果不能这样使用BERT，那有啥办法可以把BERT用到seq2seq任务中吗。谢谢各位大佬！！！

#机器学习##深度学习##人工智能#
全部评论
有一种思路，利用bert的next sentence，把后句mask成自回归，用前句生成后句
1 回复
分享
发布于 2019-11-06 11:52
我刚刚入门nlp，等大佬来解答
点赞 回复
分享
发布于 2019-06-09 13:25
联易融
校招火热招聘中
官网直投
用bert做word embedding
点赞 回复
分享
发布于 2019-06-09 13:31
用bert做的多标签文本分类
点赞 回复
分享
发布于 2019-06-09 13:32
编码器用gru，你的误差没办法传播到编码层的多头注意力层里，要不然就是你的嵌入层有问题
点赞 回复
分享
发布于 2019-06-09 14:11
bert不适合文本生成
点赞 回复
分享
发布于 2019-06-09 16:11
不是说bert做文本生成是雷区么。。
点赞 回复
分享
发布于 2019-06-09 20:43
我也在做差不多的东西 BERT提取的特征是矩阵形式， 768 * 自己设的句子长度（包括CLS和SEP）， 如果用transformer解码就用整个矩阵做decoder的输入（K和V），如果用GRU解码就用CLS对应的向量做GRU的hidden state 有好的想法可以交流一下
点赞 回复
分享
发布于 2019-06-09 23:27
Bert 是通过DAE方式来预训练的，其学习到的是词的上下文表征信息，而学习不到这种词与词之间的组合信息。 这些都需要看你 Decoder 的部分，可以看看GPT 和 MASS 是怎么做的。  最新的 XLNet 可以解决你这个烦恼，问题是，***又要学，，学不动了啊。
点赞 回复
分享
发布于 2019-06-22 22:11
BERT模型直接拿来当作编码部分？
点赞 回复
分享
发布于 2019-10-21 22:08

相关推荐

头像
梦里寻他千百度
04-23 14:04
百度_商业研发部_后端开发
点赞 评论 收藏
转发
头像
MogulNemenis
04-11 22:36
吉首大学 计算机类
点赞 评论 收藏
转发
头像
Leon201904262046230
04-17 11:35
已编辑
C++
美团校招生算法岗入职--附面试准备指南
美团算法岗入职啦！入职一个月体验挺好，团队不卷，早10晚8。写一下自己的面试经验，供大家参考！期望大家都找到自己心仪的实习/校招offer！ 下面附上自己总结的面试准备经验： 1.算法题 算法题肯定是最重要的，残酷的现实就是笔试成绩不行，面试机会都没有，所以要准备秋招了最好提前开始刷算法题。至于用什么平台，个人觉得无所谓，我就用的leetcode，一开始刷剑指offer和LeetCode75，当然都没有刷完，然后看到这个宝藏链接*******************************3797/article/details/12397813 ，这里面的题按类别挨个看，没有都做，因为时间...
我发现了面试通关密码 你收到了团子的OC了吗
点赞 评论 收藏
转发
头像
长安未见花落
04-15 18:36
西北工业大学 电子信息类
点赞 评论 收藏
转发
头像 头像
Hasity学不会
04-03 23:21
Java
点赞 评论 收藏
转发
点赞 10 评论
分享

招聘动态

查看更多

联易融2024届营销管培生校园招聘

全站热榜

正在热议
# 牛客帮帮团来啦！有问必答 #
333174次浏览 7026人参与
# 晒一晒我的offer #
2747668次浏览 49360人参与
# 华为求职进展汇总 #
430350次浏览 4314人参与
# 第一次面试 #
12792次浏览 194人参与
# 非技术岗薪资爆料 #
3903次浏览 93人参与
# 应届生应该先就业还是先择业 #
10363次浏览 102人参与
# 来聊聊机械薪资天花板是哪家 #
16895次浏览 129人参与
# 找工作，你会甘心进小厂还是猛冲大厂 #
21659次浏览 208人参与
# 百度工作体验 #
18846次浏览 205人参与
# 你更愿意参加线上面试还是线下面试？ #
3222次浏览 41人参与
# 为什么那么多公司毁约 #
31870次浏览 267人参与
# 实习工作，你找得还顺利吗？ #
4678次浏览 69人参与
# 除了offer，现在你还缺点啥？ #
1753次浏览 38人参与
# 如果校招重来我最想改变的是 #
69620次浏览 1373人参与
# 租房前辈的忠告 #
19546次浏览 1566人参与
# 通信硬件人笔面经互助 #
57938次浏览 1312人参与
# 讲讲我经历过的年终奖 #
5751次浏览 76人参与
# 机械人的薪资开到多少，才适合去？ #
41216次浏览 245人参与
# 通信硬件薪资爆料 #
131990次浏览 888人参与
# 面试被问第一学历差时该怎么回答 #
13368次浏览 148人参与
牛客网
牛客企业服务