iu嘟嘟
2019-06-22 22:11 算法工程师
关注
Bert 是通过DAE方式来预训练的，其学习到的是词的上下文表征信息，而学习不到这种词与词之间的组合信息。 这些都需要看你 Decoder 的部分，可以看看GPT 和 MASS 是怎么做的。 最新的 XLNet 可以解决你这个烦恼，问题是，***又要学，，学不动了啊。
查看原帖
点赞 1
相关推荐
不愿透露姓名的神秘牛友
04-30 18:23
阿里巴巴一面156人在聊 点赞 评论 收藏
转发
点赞 评论 收藏
转发
牛客热帖
正在热议
# 牛客帮帮团来啦！有问必答 #
475511次浏览 8511人参与
# 找不到好工作选择GAP真的丢人吗 #
9394次浏览 94人参与
# 互联网没坑了，还能去哪里？ #
345622次浏览 5502人参与
# 双非本科求职如何逆袭 #
183745次浏览 2718人参与
# 你想对下半年说点什么 #
5954次浏览 136人参与
# 投递实习岗位前的准备 #
544266次浏览 9855人参与
# 工作两年想退休了 #
13000次浏览 122人参与
# 2022届毕业生现状 #
294595次浏览 4173人参与
# 非技术薪资爆料 #
66565次浏览 968人参与
# 许愿池 #
69275次浏览 1496人参与
# 华为开奖那些事 #
656616次浏览 5731人参与
# 在找工作求抱抱 #
293764次浏览 5617人参与
# 非技术岗是怎么找实习的 #
67671次浏览 1322人参与
# 你的秋招进行到哪一步了 #
324432次浏览 6049人参与
# 没有实习经历，还有机会进大厂吗 #
284371次浏览 5952人参与
# 重来一次，我还会选择这个专业吗 #
79307次浏览 1221人参与
# 产品实习，你更倾向大公司or小公司 #
32813次浏览 511人参与
# 实习好累，可以辞职全力准备秋招吗 #
4293次浏览 82人参与
# 参加过提前批的机械人，你们还参加秋招么 #
9710次浏览 306人参与
# Offer比较，你最看重什么？ #
44220次浏览 442人参与