在知乎上提了问题没有人理，来牛客看看有没有大佬可以帮助我。最近在尝试把BERT模型放入seq2seq中，但是效果不好，不怎么收敛。我是直接把GRU encoder换成了BERT，然后decoder依旧是GRU，优化方式是ADAM，但是loss下降不下去，不管怎么调整学习率都没什么用。想问问大家这是为啥，是BERT跟RNN不兼容吗 。感觉换一个强大的预训练过的encoder不应该更好吗？我的数据量并不大，就8万左右。如果不能这样使用BERT，那有啥办法可以把BERT用到seq2seq任务中吗。谢谢各位大佬！！！
#机器学习##深度学习##人工智能# 相关推荐
Twilight_m...：表格简历有点难绷。说说个人看法：
1.个人基本情况里好多无意义信息，什么婚姻状况、健康状况、兴趣爱好、户口所在地、身份证号码、邮政编码，不知道的以为你填什么申请表呢。
2.校内实践个人认为对找工作几乎没帮助，建议换成和测开有关的项目，实在没得写留着也行。
3.工作经历完全看不出来是干什么的，起码看着和计算机没啥关系，建议加强描述，写点你在工作期间的实际产出、解决了什么问题。
4.个人简述大而空，看着像AI生成，感觉问题最大。“Python，C，C++成为我打造高效稳定服务的得力工具”、“我渴望凭借自身技术知识与创新能力，推动人工智能技术的应用发展，助力社会实现智能化转型”有种小学作文的美感。而且你确定你个人简述里写的你都会嘛？你AI这块写的什么“深入研究”，发几篇顶会的硕博生都不一定敢这么写。而且你AI这块的能力和软测也完全无关啊。个人简述建议写你对哪些技术栈、哪些语言、哪些生产工具的掌握，写的有条理些，而且最好是和测开强相关的。 