腾讯代查伯乐码

（一）语言模型的发展历程词元（Token）1. 统计语言模型（Statistical Language Model，SLM）通常是根据词序列中若干个连续的上下文单词来预测下一个词的出现概率，即根据一个固定长度的前缀来预测目标单词。2. 神经语言模型（Neural Language Model，NLM）使用神经网络来建模文本序列的生成，例如word2vec（构建了一个简化的浅层神经网络来学习分布式词表示，所学习到的词嵌入（分布式词向量）可以用作后续任务的语义特征提取器）。3. 预训练语言模型（Pre-trained Language Model，PLM）代表：ELMo、BERT、GPT-1编码器...