面试官:Embedding 模型到底怎么选?

目前主流的 Embedding 模型都是 Bi-Encoder 架构(双塔模型):query 和文档各自独立编码成向量,再算余弦相似度。这种架构的优势是速度快——文档向量可以离线算好存起来,查询时只需要算一次 query 的向量就能跟整个库比对。代价是精度不如 Cross-Encoder,所以才需要两阶段检索。

✴️下面是目前开源社区里最常用的几个 Embedding 模型的核心对比:

✅BGE-M3(BAAI 智源):目前中文场景的首选。支持中英多语言,最大 8192 token 的上下文窗口,同时支持稠密向量、稀疏向量和 ColBERT 式多向量检索三种模式。在 MTEB 中文榜单上长期稳居前列。如果你不知道选什么,无脑选 BGE-M3 不会错。

✅BGE-large-zh(BAAI 智源):专注中文的大尺寸版本,在纯中文场景下精度略高于 M3,但不支持多语言,上下文窗口也只有 512 token。适合纯中文且文档较短的场景。

✅GTE-multilingual-base(阿里达摩院):阿里出品的多语言 Embedding 模型,在 MTEB 多语言榜单上表现很强。跟 BGE-M3 是直接竞品关系,两者在多语言场景下各有胜负。如果你面的是阿里,了解 GTE 是基本功。

✅E5-small/base/large(微软):微软出品,特点是有从 small 到 large 的完整尺寸梯度,small 版本只有 33M 参数,特别适合资源紧张或需要部署到边缘设备的场景。精度比 BGE 略低,但推理速度快很多。

✅Jina Embeddings v2(Jina AI):最大亮点是支持 8K token 的超长上下文。如果你的文档 chunk 特别长(比如整段法律条文或完整的技术文档章节),其他模型可能截断,Jina v2 能全部吃进去。

✅MiniLM(微软):极致轻量级,速度最快,适合对延迟要求极高或大批量处理的场景。精度是这几个里最低的,但胜在快。

🌟四种经典搭配方案
1️⃣经典流水线:BGE-base
2️⃣检索 Top 100 → BGE-Reranker-base
3️⃣精排多语言场景:GTE-multilingual-base + GTE-multilingual-rerankerGPU
4️⃣紧张:E5-small + MiniLM-L6-cross-encoder(batch 推理)
5️⃣长文档 / 8K:Jina-embeddings-v2 + Jina-ColBERT-v2,段内匹配更稳

📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论

相关推荐

评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务