1、RAG 流程RAG 一般分成离线和在线两部分。离线侧主要做文档接入、清洗、切分、向量化和索引构建。文档来源可以是产品文档、帮助中心、接口文档、历史问答、内部知识库。清洗之后按段落、标题或者固定窗口做切片，再用 embedding 模型把文本转成向量，写入向量数据库，同时保留 metadata，比如文档类型、时间、部门、权限标签。在线侧通常是用户问题进来后，先做 query 预处理，比如改写、纠错、意图识别，然后拿 query 去做检索。检索可以是向量检索、BM25 检索或者混合检索。召回到候选片段后，再做 rerank，把最相关的内容排到前面，最后拼接 prompt 和用户问题一起送给大模...

（简历伪装成大三了）我是一个双非大二，意向是java后端开发能给我一些建议吗？开学就大二下了，什么时间去投递，能不能投递给中厂呢求前辈帮我看看😘

1. Transformer 的自注意力机制、位置编码、梯度消失和梯度爆炸的解决方案答：自注意力机制的核心是让每个 token 在计算表示时都能和序列中其他 token 交互。给定输入 (X)，先通过线性变换得到 (Q)、(K)、(V)：然后计算注意力：这里除以 根号下dk 是为了防止点积过大导致 softmax 进入饱和区，影响梯度。多头注意力就是把表示拆成多个子空间并行计算，最后再拼接，能从不同角度学习依赖关系。位置编码是因为 Attention 本身不包含顺序信息，所以需要显式加入位置信息。经典做法是正余弦位置编码：现在也常用相对位置编码和 RoPE。梯度消失和梯度爆炸的解决方案包括：残...