把 Transformer Decoder‑only 的

[问答题]

把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。

疯奇

token embedding(将离散的token id投影到连续的向量空间上)-> 位置编码（由于transformer的置换不变性导致需要pos ，这也是transformer能够高度并行化的原因之一，现在多用旋转编码RoPE） -> 多头自注意力机制（由于是decoder-only故而这里应该是带mask的，通过mask实现单向，多头是用来提取多个子空间中的特征，后来有GQA，GQA中把不同的head分组，然后组内共享一个query矩阵，目的是用较低程度的表达能力的下降换取显存负载的降低以及计算效率的提高）->前馈神经网络（FFN，进行非线性的特征变化，提升表达能力，最新的FFN与transformer中的差距主要体现在激活函数上：LLM中多使用SwiGLU，该激活函数输出0均值，且平滑可导，能加速收敛的进行，且梯度消失与梯度爆炸程度轻）-> 残差连接与正则化（避免过拟合，残差连接使得网络能更加深，正则化有LayerNorm， BatchNorm， GroupNorm, RMSNorm, PowerNorm）->输出层（把最后一层的输出映射回词表，生成预测下一个词的概率分布）

发表于 2025-10-17 21:23:56 回复(0)