4.21 投简历4.23 约后天一面4.25 一面无手撕，上来先拷打论文，其中有个地方用了rag，面试官问我这里是怎么把文本转换成向量储存的。(我以为是问我工程上的实现，这是去年做的一个小模块，回忆了半天细节，答得支支吾吾，面完了之后结合下一个问我才意识到其实是问我embedding过程)看我支支吾吾就直接问transformer是怎么把token处理成向量的。transformer的self-attention和cross self-attention区别在哪里。pre-norm和post-norm的区别？进一步，为什么现在主流大模型都用post-norm。lora的实现过程。大模型用的Lo...

RAG：特定充电口 想象你住在一个充电器堆积如山的世界。每个设备都有自己的专属接口：诺基亚的充电头、苹果的 Lightning 数据线、三星的 USB 接口……虽然都能用，但每次想给设备充电时，都得在一堆线里翻找“对的那根”。 是不是很烦？ 这就像是 RAG（检索增强生成） 的工作方式。 RAG 是如何工作的？ 你问一个关于量子计算的问题，RAG 会从 Google Scholar 或其他数据库拉取最新的论文。就像你每次要充电，都得找对的那根数据线。 RAG 每次响应用户时，都需要连接到外部数据源（如向量数据库、知识库或 API）来获取信息。每一次请求，就像为不同设备找对应的数据线。 如果你问...