试卷【华为校园招聘 软件】

题目 解释 Transformer 架构中的 Self-Attention 机制，并说明其计算复杂度。 一、Self-Attention 在做什么？为什么重要？ Self-Attention（自注意力） 是 Transformer 的核心：让序列中每个位置都能“看到”其他所有位置，并根据相关性对信息做加权聚合。换句话说：每个 token 的表示，由整段序列里所有 token 共同决定，权重由“谁和谁更相关”来定。 为什么重要？  长距离依赖：RNN 要一步步传，距离远时梯度易消失；Self-Attention 一步就能让任意两个位置交互，适合长文档、长对话。 并行：所有位置的注意力可以同时算，...