南瑞研究院

1. Transformer 为什么使用多头注意力机制，为什么不只用一个头？多头注意力的核心，不是单纯把一个 attention 做很多遍，而是让模型在不同子空间里同时学习不同类型的关系。一个头可能更关注主语和谓语的关系，另一个头可能更关注长距离依赖，还有的头更容易学到局部词序和语义搭配。如果只用一个头，模型也能做注意力，但它只能在一个投影空间里建模，表达能力会受限。多头的做法是先把输入分别线性映射成多组 (Q,K,V)，每组各自做 attention，最后再拼接起来。这样模型就能从多个角度同时看同一句话。公式一般写成：其中：所以多头的本质价值是：增强表示能力，而不是简单重复计算。2. 为什么...

小米oc了，但是在犹豫去不去。如果接受的话，小米正职待遇太差了，而且也不是互联网大厂，不确定这段经历对于秋招的背书有多大。算上餐补实习薪资5100，感觉太低了，并且岗位是中台开发，会干一些杂活，而且没有专门的mentor，和纯后端有一定区别。但是如果不接受的话，害怕接下来找不到好的offer，暑期0offer。图一是我简历上的项目和所学知识，图二是JD。实习的岗位不垂直，对秋招帮助大吗，该不该去，去了之后能胜任任务吗？

1、自我介绍2、项目拷打3、RAG 的完整链路是什么，哪些地方最容易出问题RAG 的完整链路一般是文档接入、清洗去噪、切 chunk、向量化、建索引、在线检索、重排、上下文构造、Prompt 拼接、模型生成和结果后处理。线上请求过来以后，先对用户 query 做归一化处理，再进行向量召回或者混合召回，把候选文档取回来，然后用 rerank 模型重新排序，选出最相关的内容拼到 prompt 里，再交给大模型回答。最容易出问题的地方通常有几个。第一是 chunk 切得不合理，太短会丢语义，太长会导致噪声太多。第二是召回率不够，模型根本没拿到正确证据。第三是重排不准，正确文档被排到后面。第四是上下文...