预训练语言模型概述 预训练语言模型（Pre-trained Language Models, PLMs）通过大规模无监督学习捕捉语言的通用表征，为下游任务提供强大的基础。Encoder-only架构专注于双向上下文编码，典型代表包括BERT、RoBERTa和ALBERT。这类模型通过掩码语言建模（Masked Language Modeling, MLM）等任务预训练，擅长理解任务而非生成任务。 BERT：双向编码的里程碑 核心架构 BERT基于Transformer的Encoder堆叠，采用双向注意力机制。其输入层融合词嵌入（Token Embeddings）、段嵌入（Segment Emb...