简介:概念:利用训练语料中词与词之间的共线性,将自然语言中的词语转换成词向量的形式。本质上学习的是词与词之间的共线性。这个共现取决于滑动窗口的大小。 两种形式:包含了skip-grand,CBOW两种形式,首先我们会定义一个滑动窗口,CBOW是根据上下文词来预测中心词的概率,而skip-grand是根据中心词来预测上下文词的概率。 输入:样本的输入,比如说在我们的项目中,我们把文章的内容拼接到一起,然后分词,如果采用skip-grand的方式,现在我们有一个滑动窗口,窗口中有1,2,3,4,5,那么我们就会得到31,32,34,35四条样本,那么3就是我们的收入,1,2,4,5就是我们的tar...