语义搜索

应对数据爆炸时代，揭秘向量数据库如何成为AI开发者的新宠，各数据库差异对比 随着大模型的爆火，向量数据库也越发成为开发者关注的焦点。为了方便大家更好地了解向量数据库，我们特地推出了《Hello, VectorDB》系列，本文将从宏观角度、向量数据库与其他算法库的区别、技术难点及如何选择向量数据库等方面，带大家认识真正的向量数据库。 在正式开始前，先来了解一个背景：非结构化数据呈爆炸式增长，而我们可以通过机器学习模型，将非结构化数据转化为 embedding 向量，随后处理分析这些数据。在此过程中，向量数据库应运而生。向量数据库是一种为了高效存储和索引 AI 模型产生的向量嵌入（embeddin...

全新Self-RAG框架亮相，自适应检索增强助力超越ChatGPT与Llama2，提升事实性与引用准确性 1. 基本思想 大型语言模型（LLMs）具有出色的能力，但由于完全依赖其内部的参数化知识，它们经常产生包含事实错误的回答，尤其在长尾知识中。  为了解决这一问题，之前的研究人员提出了检索增强生成（RAG），它通过检索相关知识来增强 LMs 的效果，尤其在需要大量知识的任务，如问答中，表现出色。 但 RAG 也有其局限性，例如不加选择地进行检索和只整合固定数量的段落，可能导致生成的回应不够准确或与问题不相关。  为了进一步改进，作者提出了自反思检索增强生成（Self-RAG, Self-Re...

深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用 1.文本特征表示方法: TF-IDF 在信息检索, 文本挖掘和自然语言处理领域, IF-IDF 这个名字, 从它在 20 世纪 70 年代初被发明, 已名震江湖近半个世纪而不曾衰歇. 它表示的简单性, 应用的有效性, 使得它成为不同文本处理任务文本特征权重表示的首选方案. 如果要评选一个 NLP 领域最难以被忘记的公式, 我想, TF-IDF 应该是无可争议的第一和唯一. 虽然在以上领域，目前出现了不少以深度学习为基础的新的文本表达和权重（Weighting）表示方法，但是 TF-IDF 作为一个古董方法，依然在很...

Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解] 今天要介绍的 Elasticsearch Relevance Engine™ (ESRE™)，提供了多项用于创建高度相关的 AI 搜索应用程序的新功能。ESRE 站在 Elastic 这个搜索领域的巨人肩膀之上，并基于两年多的 Machine Learning 研发成就构建而成。Elasticsearch Relevance Engine 将 AI 的最佳实践与 Elastic 的文本搜索进行了结合。ESRE 为开发人员提供了一整套成熟的检索算法，并能够与...

挖掘文本的奇妙力量：传统与深度方法探索匹配之道 文本向量表示咋做？文本匹配任务用哪个模型效果好？ 许多 NLP 任务的成功离不开训练优质有效的文本表示向量。特别是文本语义匹配（Semantic Textual Similarity，如 paraphrase 检测、QA 的问题对匹配）、文本向量检索（Dense Text Retrieval）等任务。 1. 传统方法：基于特征的匹配  基于 TF-IDF、BM25、Jaccord、SimHash、LDA 等算法抽取两个文本的词汇、主题等层面的特征，然后使用机器学习模型（LR, xgboost）训练分类模型 优点：可解释性较好 缺点：依赖人工寻找特...