问个nlp问题

bert的两个损失函数是啥,有了解的么。
全部评论
bert预训练两个任务: 1.Masked LM, 判断Masked token在是否属于上下文,softmax 输出,loss 计算 Mask token位置的交叉熵 2.Next Sentence Prediction,上下文判断,判断两句话上下文关系是否成立,sigmoid输出,类似于逻辑斯特回归二分类
点赞
送花
回复
分享
发布于 2019-08-07 13:33

相关推荐

点赞 9 评论
分享
牛客网
牛客企业服务