2019-12-04 16:24 腾讯_数据平台部_算法工程师

关注

skip thought论文阅读

skip thought核心思想：用一句句子去预测周围的句子
使用方法：训练encoder，之后再训练线性分类器用在不同任务上。
编码器：

$w_{i}^1,...,w_{i}^N$ 是句子 $s_{i}$ 中的N个字。每个时间步,编码器产生一个隐藏状态作为w_{i}^1,...,w_{t}^t序列的隐藏表示。于是 $h_{i}^N$ 就能表示整个句子。

$r^t = \sigma(W_rx^t+U_rh^{t-1})$
$z^t = \sigma(W_zx^t+U_zh^{t-1})$
$\bar h^t = tanh(Wx^t + U(r^t \times h^{t-1}))$
$h^t = (1-z^t)\times h^{t-1} + z^t\times \bar h^t$

解码器：
$r^t = \sigma(W_r^dx^{t-1} + U_r^dh^{t-1} + C_rh_i)$
$z^t = \sigma(W_z^dx^{t-1} + U_z^dh^{t-1} + C_zh_i)$
$\bar h^t = tanh(W^dx^{t-1} + U^d(r^t \times h^{t-1}) + Ch_i)$
$h_{i+1}^t = (1-z^t) \times h^{t-1} + z^t \times \bar h^t$

概率建模
$P(w_{i+1}^t|w_{i+1}^{<t},h_i) \propto exp(v_{w_{i+1}^t}h_{i+1}^t)$
损失函数：
给定配对( $s_{i-1},s_{i},s_{i+1}$ ),

$\Sigma_{t}logP(w_{i+1}^t|w_{i+1}^{<t},h_i) + \Sigma_{t}logP(w_{i-1}^t|w_{i-1}^{<t},h_i)$
使得前向后向的概乘积率最大

实验：
训练细节
语义相关
段落检测
图像句子打分

总结：
需要更高质量的表示。

全部评论

推荐最新楼层

京东内推靓仔

05-31 19:58

京东_数据开发

京东内推码京东内推码京东内推码京东内推码

京东内推码：C41KW 京东内推链接： https://campus.jd.com/api/wx/position/index?type=present#/?emplErp=C41KW 欢迎大家投递我们的京东，有问题评论区打出来！ 加入京东，改变人们生活的真正影响力！

投递京东等公司10个岗位 >

点赞评论收藏

转发

06-04 22:51

已编辑

门头沟学院计算机类

百度一面-已offer

5.29面的，电话约的面试时间。我找实习三个月来体验最好的一次面试智能客服部面试官提前进的会议，当时听到背景有点吵，还特地给我解释一下没预约到会议室，，所以在走廊面的，如果有听不清楚的可以随时打断他。主要是当天上午面了腾讯，也是类似的背景吵，20分钟结束的KPI，所以这时候有点怀疑是KPI了（被腾讯3/4的KPI整的PTSD了），不过实际还是认真面的。当时忘记录了，有些可能不记得了，想起什么写什么全程50多分钟，面试体验很好开场结合身边的同事先给了我一些关于考研和工作的建议，成功让我从紧张变得放松了。自我介绍之后问了几个场景题，不记得了没怎么问项目，我自己答问题的时候...

查看11道真题和解析哪些公司面试官让你印象深刻？

点赞评论收藏

转发

05-07 23:50

已编辑

门头沟学院军事后勤学

哎，世界已经卷到 连hr都不相信了

点赞评论收藏

转发

05-07 08:56

莆田学院计算机类

😫 #沉淀# #黑皮体育生#

点赞评论收藏

转发

点赞收藏评论

全站热榜

正在热议

# 和牛牛一起刷题打卡 #

19471次浏览 1658人参与

# 0offer是寒冬太冷还是我太菜 #

455445次浏览 5139人参与

# 不去互联网可以去金融科技 #

21807次浏览 268人参与

# 牛客帮帮团来啦！有问必答 #

1155772次浏览 17205人参与

# 通信和硬件还有转码的必要吗 #

11358次浏览 101人参与

# 简历无回复，你会继续海投还是优化再投？ #

25100次浏览 354人参与

19895次浏览 280人参与

# 参加过提前批的机械人，你们还参加秋招么 #

14671次浏览 349人参与

# 大厂无回复，继续等待还是奔赴小厂 #

5294次浏览 38人参与

# 机械人与华为的爱恨情仇 #

7112次浏览 61人参与

# 产品人求职现状 #

57815次浏览 831人参与

# 国企是理工四大天坑的最好选择吗 #

2288次浏览 34人参与

# 实习与准备秋招该如何平衡 #

203796次浏览 3634人参与

# 晒一晒我的offer #

3833041次浏览 58662人参与

# 面试被问第一学历差时该怎么回答 #

19458次浏览 213人参与

# 为什么国企只招应届生 #

58803次浏览 434人参与

# 学历对求职的影响 #

161426次浏览 1809人参与

# 你见过最离谱的招聘要求是什么？ #

29411次浏览 255人参与

# 互联网公司评价 #

97894次浏览 1281人参与

# 我发现了面试通关密码 #

388348次浏览 7090人参与

# 硬件人的简历怎么写 #

82329次浏览 852人参与

# 通信硬件薪资爆料 #

266491次浏览 2492人参与

牛客网
牛客企业服务