前置知识 BM25简介 BM25算法(Best Matching 25)是一种广泛用于信息检索领域的排名函数,用于在给定查询(Query)时对一组文档(Document)进行评分和排序。BM25在计算Query和Document之间的相似度时,本质上是依次计算Query中每个单词和Document的相关性,然后对每个单词的相关性进行加权求和。BM25算法一般可以表示为如下形式: 上式中, q 和 d 分别表示用来计算相似度的Query和Document, q ~i~表示 q 的第 i 个单词, R(q i , d) 表示单词 q ~i~和文档 d 的相关性, W ~i~表示单词 q ~i~的权...