Qwen3 Embedding 与 BGE 有什么区别?
🌟Encoder 架构的词嵌入模型
数据格式:[ CLS ]句子 A [ SEP ]句子 B [ SEP ]并行计算:同时感知上下文,计算速度快向量表示: Encoder 会在输入的最前面加一个特殊的[ CLS ]标记。在经过计算后使得[ CLS ]标记向量能够代表整句话的含义
Qwen3 Embedding 基于Qwen3模型,嵌入模型将单个文本段作为输入,用[ EOS ]标记所对应的向量代表整句话的向量。
Qwen3 Embedding 的训练过程
1.使用大合成数据进行弱监督学习利用Qwen3基座模型直接合成数据,而 BGE 与E5等模型都是从开源社区收集数据。
2.利用高质量合成数据进行 SFT 对筛选出的高质量合成数据和公开监督数据集进行监督训练。
3.模型合并
将微调过程中的多个模型检查点保存,采用 slerp 技术进行模型融合,增加泛化能力。
🌟Qwen3 Embedding 的数据合成
Qwen3 Embedding 模型加入信息检索、比对挖掘、分类和文本相似度四类合成数据。
以信息检索为例
1.输入:多语种文档+候选角色
Qwen3-32B决策:选择最可能对文档感兴趣的角色、问题类型与难度(高中/大学的知识)
2.构造检索对:输入上一阶段的文档与角色,对问题类型、难度进行限制。从角色视角出发,按需求生成文档对应的自然语言查询。
🌟Qwen3 Embedding 的新用法
Qwen3 Embedding 模型的 query 前能加一个 prompt ,这个 prompt 会与 query 一起向量化。
那么我们就可以在向量化 query 前加一个 prompt :寻找写作风格相似的其他文档。
🌟总结🍊
1.训练数据不同。以前词嵌入模型采用公开数据,现在的训练数据会使用大模型加工合成,更精细可控,站在了巨人的肩膀上。
2.模型结构不同。在生成式大模型采用 Decoder 架构后,词嵌入模型也借鉴了 Decoder ,使用[ EOS ]标签对应的向量来表示句子向量。
3.训练方法改进。 Encoder 架构的训练方式是 Mask 猜词与相似度计算。而Qwen3词嵌入模型采用多阶段训练与合并结果,让模型效果更上一层楼。
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
数据格式:[ CLS ]句子 A [ SEP ]句子 B [ SEP ]并行计算:同时感知上下文,计算速度快向量表示: Encoder 会在输入的最前面加一个特殊的[ CLS ]标记。在经过计算后使得[ CLS ]标记向量能够代表整句话的含义
Qwen3 Embedding 基于Qwen3模型,嵌入模型将单个文本段作为输入,用[ EOS ]标记所对应的向量代表整句话的向量。
Qwen3 Embedding 的训练过程
1.使用大合成数据进行弱监督学习利用Qwen3基座模型直接合成数据,而 BGE 与E5等模型都是从开源社区收集数据。
2.利用高质量合成数据进行 SFT 对筛选出的高质量合成数据和公开监督数据集进行监督训练。
3.模型合并
将微调过程中的多个模型检查点保存,采用 slerp 技术进行模型融合,增加泛化能力。
🌟Qwen3 Embedding 的数据合成
Qwen3 Embedding 模型加入信息检索、比对挖掘、分类和文本相似度四类合成数据。
以信息检索为例
1.输入:多语种文档+候选角色
Qwen3-32B决策:选择最可能对文档感兴趣的角色、问题类型与难度(高中/大学的知识)
2.构造检索对:输入上一阶段的文档与角色,对问题类型、难度进行限制。从角色视角出发,按需求生成文档对应的自然语言查询。
🌟Qwen3 Embedding 的新用法
Qwen3 Embedding 模型的 query 前能加一个 prompt ,这个 prompt 会与 query 一起向量化。
那么我们就可以在向量化 query 前加一个 prompt :寻找写作风格相似的其他文档。
🌟总结🍊
1.训练数据不同。以前词嵌入模型采用公开数据,现在的训练数据会使用大模型加工合成,更精细可控,站在了巨人的肩膀上。
2.模型结构不同。在生成式大模型采用 Decoder 架构后,词嵌入模型也借鉴了 Decoder ,使用[ EOS ]标签对应的向量来表示句子向量。
3.训练方法改进。 Encoder 架构的训练方式是 Mask 猜词与相似度计算。而Qwen3词嵌入模型采用多阶段训练与合并结果,让模型效果更上一层楼。
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论
相关推荐
点赞 评论 收藏
分享