工程实践与深度解析

HNSW（Hierarchical Navigable Small World，分层可导航小世界图）已成为众多向量数据库的首选算法。其多层图结构以及高效导航向量嵌入的能力使其格外具有吸引力。然而，尽管拥有诸多显著优势，对于大规模且动态变化的向量相似度搜索而言，HNSW 可能并非最优解。在本文中，我们将挑战 HNSW 的主导地位，并探讨为什么基于磁盘的替代方案——例如 IVF（Inverted File Index，倒排文件索引）——在面对海量数据集时更具实用价值。 HNSW 的吸引力 HNSW …

聚类（Clustering）是向量搜索中的重要组成部分，而 K-means 算法依然是目前应用最广泛的技术之一。然而，它的简洁性也伴随着一个显著的缺点：密集的计算资源消耗使其在处理大规模数据集时往往力不从心。本文将探讨这一挑战产生的原因，并介绍如何利用外部构建（External Builds）来克服它，同时分享我们在实现这一方案过程中的技术洞察。 为什么需要外部构建 VectorChord 使用 IVF + RaBitQ 来执行向量搜索。IVF 聚类簇的质量会直接影响搜索精度和速度 …

我们很高兴地宣布推出全新的 PostgreSQL 向量搜索扩展，为大规模向量管理提供极具性价比的解决方案。使用 VectorChord，您可以在 1 亿条 768 维向量数据集上执行 Top 10 查询时，以 0.95 的精度实现 131 QPS。整套环境可在单台机器上运行，每月成本仅为 $250。 这意味着您只需花费 $1 即可存储 40 万条向量，从而大幅节省成本：在同等价格下，可存储的向量数量是 Pinecone（存储优化型实例）的 6 倍，更是 pgvector/pgvecto.rs 的 …

我们非常激动地宣布推出 PGVecto.rs Cloud——将可扩展向量搜索的强大能力带入你的 PostgreSQL 数据库，现已作为全托管云服务正式上线。 PGVecto.rs 是一款开创性的 Postgres 扩展，支持高性能向量搜索，赋能开发者在现有 Postgres 基础设施之上构建先进的相似度检索应用。借助 PGVecto.rs Cloud，你现在无需自行承担管理扩展的运维开销，即可直接释放这项变革性技术的全部潜力。 通过与现有 Postgres 基础设施无缝集成，PGVecto.rs …

我们非常高兴地宣布发布适用于 PGVecto.rs Cloud 的 Terraform Provider。这一全新 Provider 旨在简化我们云服务上的资源管理流程，让用户能够通过基础设施即代码（IaC）工具 Terraform，以直观、高效的方式管理 Postgres 集群的部署与运维。对于尚不熟悉 Terraform 的读者，它是一款开源工具，用于安全、高效地构建、变更和版本化管理基础设施。它支持用户将基础设施定义为代码，从而以编程方式调配和管理各类资源。 关于 …

在过去，混合搜索（hybrid search）通常结合两种搜索方式：传统的基于关键词的搜索与基于向量的相似度搜索。然而，稀疏向量（sparse vector）可以作为关键词搜索的替代方案，通过纯向量搜索释放数据流水线的全部潜能。 本文将探讨如何结合 BGE-M3 与 pgvecto.rs，同时利用稀疏向量和稠密向量（dense vector）来充分发挥混合搜索的潜力。 让我们开始吧。 稀疏向量与稠密向量嵌入概览 稀疏向量是仅包含少量非零值的高维向量，非常适合传统的信息检索场景。例如，一个拥有 …

提示 更新提示：欢迎了解我们最新的扩展 VectorChord-BM25，它在 PostgreSQL 中实现了端到端的 BM25 排序。详情请阅读：https://vchord.pgsty.com/zh/blog/post/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch/ …

在向量搜索领域，一项引人注目的技术进展正在兴起：二值向量搜索（binary vector search）。这种方法有望通过实现惊人的 30 倍内存缩减，攻克长期存在的内存消耗难题。然而，一个引发广泛讨论的关键问题是：它会对检索精度产生怎样的影响？ 我们认为，将二值向量搜索与特定的优化技术相结合，完全可以保持相近的检索精度。为了阐明这一点，我们将在本文中展示一系列实验，演示该方法的实际效果及其重要意义。 什么是二值向量？ 二值向量（binary vector）是一种将向量中的每个元素编码为二值（通 …

pgvector 和 pgvecto.rs 都是旨在增强 PostgreSQL 向量检索能力的扩展。这些扩展彻底改变了数据库内部执行向量搜索的方式，提供了可扩展、低延迟且支持混合检索的解决方案。在这篇博客文章中，我们将详细阐述 pgvector 与 pgvecto.rs 之间的核心差异。 省流版（TL; DR）：请直接跳转到文章末尾的总结小节，其中的对比表格汇总了两者之间的主要区别。 搜索能力（Search） 搜索是数据库的核心功能，在高效数据检索中扮演着至关重要的角色，能够帮助用户快速定位并访 …

随着大语言模型（LLM）的普及，向量数据库也成为了热门话题。只需寥寥几行简单的 Python 代码，向量数据库就能充当 LLM 廉价却高效的“外挂大脑”。但我们真的需要一个专门的向量数据库吗？ 为什么 LLM 需要向量搜索？ 首先，让我简要介绍一下为什么 LLM 需要使用向量搜索技术。向量搜索是一个存在已久的问题：给定一个对象，在集合中找出与之最相似对象的过程就是向量搜索。文本、图像等都可以转换为向量表示，从而将文本或图像的相似性问题转化为向量相似性问题。 文本搜索（图片来源） 在上面的例子中， …

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使应用程序能够： 具备上下文感知能力：将语言模型连接到各种上下文来源（提示词指令、少样本示例、作为回答依据的业务内容等）。 进行推理：依靠语言模型进行推理（例如如何根据提供的上下文作答、应当采取什么行动等）。 pgvecto.rs 是 Postgres 中的一款向量搜索扩展。在本篇博客中，我们将向你展示如何使用 LangChain 和 pgvecto.rs 构建 LLM 应用程序。 安装依赖 使用 LangChain 集成需要安 …

LlamaIndex 是一个简单、灵活的数据框架，用于将自定义数据源连接到大语言模型（LLM）。 pgvecto.rs 提供了 LlamaIndex 集成，允许你快速检索最相似的向量。在本篇博客中，我们将向你展示如何使用 pgvecto.rs 和 LlamaIndex 构建一套 RAG 流水线。 安装依赖 使用 LlamaIndex 集成需要安装以下依赖项： pip install llama-index "pgvecto_rs[sdk]" 你可以在 Docker 容器中启动安装了 …