4399 笔试

目前主流的 Embedding 模型都是 Bi-Encoder 架构（双塔模型）：query 和文档各自独立编码成向量，再算余弦相似度。这种架构的优势是速度快——文档向量可以离线算好存起来，查询时只需要算一次 query 的向量就能跟整个库比对。代价是精度不如 Cross-Encoder，所以才需要两阶段检索。✴️下面是目前开源社区里最常用的几个 Embedding 模型的核心对比：✅BGE-M3（BAAI 智源）：目前中文场景的首选。支持中英多语言，最大 8192 token 的上下文窗口，同时支持稠密向量、稀疏向量和 ColBERT 式多向量检索三种模式。在 MTEB 中文榜单上长期稳居前列。如果你不知道选什么，无脑选 BGE-M3 不会错。✅BGE-large-zh（BAAI 智源）：专注中文的大尺寸版本，在纯中文场景下精度略高于 M3，但不支持多语言，上下文窗口也只有 512 token。适合纯中文且文档较短的场景。✅GTE-multilingual-base（阿里达摩院）：阿里出品的多语言 Embedding 模型，在 MTEB 多语言榜单上表现很强。跟 BGE-M3 是直接竞品关系，两者在多语言场景下各有胜负。如果你面的是阿里，了解 GTE 是基本功。✅E5-small/base/large（微软）：微软出品，特点是有从 small 到 large 的完整尺寸梯度，small 版本只有 33M 参数，特别适合资源紧张或需要部署到边缘设备的场景。精度比 BGE 略低，但推理速度快很多。✅Jina Embeddings v2（Jina AI）：最大亮点是支持 8K token 的超长上下文。如果你的文档 chunk 特别长（比如整段法律条文或完整的技术文档章节），其他模型可能截断，Jina v2 能全部吃进去。✅MiniLM（微软）：极致轻量级，速度最快，适合对延迟要求极高或大批量处理的场景。精度是这几个里最低的，但胜在快。🌟四种经典搭配方案1️⃣经典流水线：BGE-base2️⃣检索 Top 100 → BGE-Reranker-base3️⃣精排多语言场景：GTE-multilingual-base + GTE-multilingual-rerankerGPU4️⃣紧张：E5-small + MiniLM-L6-cross-encoder（batch 推理）5️⃣长文档 / 8K：Jina-embeddings-v2 + Jina-ColBERT-v2，段内匹配更稳📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

The wise man knows he knows nothing, the fool thinks he knows all.清者自清，浊者自浊。

1、自我介绍2、训练和推理的并行策略大模型训练和推理常见的并行策略主要有数据并行、张量并行、流水线并行和专家并行。数据并行是每张卡放一份完整模型，不同卡处理不同 batch，然后通过 All-Reduce 同步梯度。它实现简单，但模型太大时单卡放不下。张量并行是把同一层的权重按列或者按行切到多张卡上，每张卡只算一部分，再做通信聚合，适合单层参数特别大的场景。流水线并行是把不同层分配到不同 GPU 上，让不同 micro-batch 像流水线一样流动，能解决单卡放不下完整模型的问题，但会有流水线气泡。专家并行主要出现在 MoE 结构里，不同 token 路由到不同专家，参数量可以很大，但每次只激...