实习第五周中小结

Q1：prefix Decoder 和 causal Decoder 和 EncoderDecoder 区别是什么？答案：prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别在于 attention mask不同：Encoder-Decoder：在输入上采用双向注意力，对问题的编码理解更充分。适用任务：在偏理解的 NLP 任务上效果好。缺点：在长文本生成任务上效果差，训练效率低。causal Decoder：自回归语言模型，预训练和下游应用是完全一致的，严格遵守只有后面的token才能看到前面的token的规则。适用任务：文本生成任务效果好。...