如何把BERT用到文本生成中

在知乎上提了问题没有人理,来牛客看看有没有大佬可以帮助我。最近在尝试把BERT模型放入seq2seq中,但是效果不好,不怎么收敛。我是直接把GRU encoder换成了BERT,然后decoder依旧是GRU,优化方式是ADAM,但是loss下降不下去,不管怎么调整学习率都没什么用。想问问大家这是为啥,是BERT跟RNN不兼容吗 。感觉换一个强大的预训练过的encoder不应该更好吗?我的数据量并不大,就8万左右。如果不能这样使用BERT,那有啥办法可以把BERT用到seq2seq任务中吗。谢谢各位大佬!!!

#机器学习##深度学习##人工智能#

注意!此信息未认证,请谨慎判断信息的真实性!

全部评论
空

相关内容推荐

头像
点赞 评论 收藏
转发
头像
点赞 评论 收藏
转发
头像
投票
点赞 评论 收藏
转发
头像
点赞 评论 收藏
转发
头像
2022-12-29 16:41
点赞 评论 收藏
转发
点赞 10 评论
分享

全站热榜

正在热议