使用指南 on Vchord

索引构建

Mon, 01 Jan 0001 00:00:00 +0000

VectorChord 的索引类型 vchordrq 会将向量划分为多个列表（list），并仅搜索距离查询向量最近的一部分列表。它兼具极快的构建速度与低内存占用，同时在性能上显著优于 hnsw 和 ivfflat。

多向量检索

Mon, 01 Jan 0001 00:00:00 +0000

since v0.3.0

多向量检索（Multi-Vector Retrieval）是检索增强生成（RAG）系统中使用的一项高级技术，通过为每个文档关联多个向量来增强文档检索效果。

图索引

Mon, 01 Jan 0001 00:00:00 +0000

since v0.5.0

VectorChord 的索引类型 vchordg 是一种基于磁盘的图索引，具有低内存占用的特点。

我们首先创建一个名为 items 的表，其中包含一个类型为 vector(n) 的 embedding 列，然后向其中填充示例数据。

量化类型

Mon, 01 Jan 0001 00:00:00 +0000

since v1.1.0

量化不仅可以应用于索引，还可以直接应用于向量本身。为此，VectorChord 提供了专门用于量化向量的数据类型。

rabitq8 是量化向量的数据类型。在相同维度下，它的存储开销约为全精度向量（vector）的 $\frac{1}{4}$ ，半精度向量（halfvec）的 $\frac{1}{2}$ 。该类型以其所使用的量化算法命名。¹

相似度过滤

Mon, 01 Jan 0001 00:00:00 +0000

通常，我们会使用 ORDER BY 和 LIMIT 子句来执行向量搜索。但在某些情况下，您可能希望使用 WHERE 子句过滤掉距离查询向量太远的向量。很自然地，您可能会写出如下 SQL：

EXPLAIN (COSTS FALSE) 
SELECT * FROM items WHERE embedding <-> '[0, 0, 0]' < 0.1 ORDER BY embedding <-> '[0, 0, 0]' LIMIT 10;
                                  QUERY PLAN                                   
-------------------------------------------------------------------------------
 Limit
   ->  Index Scan using items_embedding_idx on items
         Order By: (embedding <-> '[0,0,0]'::vector)
         Filter: ((embedding <-> '[0,0,0]'::vector) < '0.1'::double precision)

返回的结果虽然符合预期，但这种写法的性能却很差。这是因为如果落在距离阈值内的向量少于 $10$ 个，PostgreSQL 会强制索引继续搜索以凑够 $10$ 条结果，从而遍历耗尽整个搜索空间。

PostgreSQL 调优

Mon, 01 Jan 0001 00:00:00 +0000

索引构建可以并行化执行。由于并行化会增加服务器负载，PostgreSQL 默认并未启用。如需启用并行构建，请参考以下 SQL 配置：

-- 设置数据库集群可支持的最大后台进程数。
-- 建议将其设置为至少等于您期望的并行度加上 8。
-- 例如，如果您希望使用 16 个线程进行并行处理，请将该值至少设置为 24。
-- 根据您的实际工作负载，将该值设置得更高可能会更有帮助。
-- 注意：此设置需要重启数据库才能生效。
ALTER SYSTEM SET max_worker_processes = 24;

-- 设置数据库集群可用于并行操作的最大工作进程数。
-- 建议将其设置为您期望的并行度减 1。
-- 例如，如果您希望使用 16 个线程进行并行处理，请将该值设置为 15。
SET max_parallel_workers = 15;

-- 设置单个维护命令（如 CREATE INDEX）可启动的最大并行工作进程数。
-- 建议将其设置为您期望的并行度减 1。
-- 例如，如果您希望使用 16 个线程进行并行处理，请将该值设置为 15。
SET max_parallel_maintenance_workers = 15;

并行工作进程的数量还取决于表本身的配置。默认情况下，该值由 PostgreSQL 自动计算决定。如果 PostgreSQL 判定不启用并行，那么并行索引构建就不会生效。您可以通过调整表的 parallel_workers 存储参数来覆盖 PostgreSQL 的默认行为，强制启用并行索引构建。

监控

Mon, 01 Jan 0001 00:00:00 +0000

您可以通过查询 pg_stat_progress_create_index 视图来监控 PostgreSQL 索引的构建进度。

SELECT command, phase, round(100.0 * blocks_done / nullif(blocks_total, 0), 1) AS "%" FROM pg_stat_progress_create_index;

参考

构建阶段（`vchordrq`）

vchordrq

vchordrq 的索引构建过程包含 5 个步骤，每个步骤的阶段名称（phase）如下：

回退参数

Mon, 01 Jan 0001 00:00:00 +0000

since v1.1.0

搜索参数通常通过 GUC 进行配置。VectorChord 还提供了另一种方式，允许将这些参数直接绑定到索引上，而不是绑定到会话（session）或事务（transaction）上。换句话说，您可以将它们作为索引存储参数（storage parameters）的一部分保存下来。

评估召回率

Mon, 01 Jan 0001 00:00:00 +0000

since v0.5.0

在向量搜索中，召回率（recall）是指索引返回的近似最近邻中真实最近邻所占的比例。例如，如果索引检索出 $100$ 个近似最近邻，其中有 $97$ 个属于真实最近邻，那么召回率就是 $\frac{97}{100} = 0.97$ 。

预热

Mon, 01 Jan 0001 00:00:00 +0000

PostgreSQL 启动后，表和索引只有在首次被访问时才会从存储加载到缓冲池（buffer pool）中。随着查询的不断执行，索引中被频繁访问的部分会自然地缓存在缓冲池里。然而，在执行最初的几批查询时，由于缓冲池为空，查询速度往往较慢。

预过滤

Mon, 01 Jan 0001 00:00:00 +0000

since v0.4.0

在带过滤条件的索引扫描中，通常索引会先执行扫描，然后由 PostgreSQL 检查返回行是否满足过滤条件。在本页中，“过滤条件（filter）”是指 PostgreSQL 查询计划中索引扫描节点上的 Filter，它通常由 SQL 语句中的 WHERE 子句构造而成，并且不需要具备特定的形式。

预取

Mon, 01 Jan 0001 00:00:00 +0000

since v0.4.0

预取（Prefetch）能够大幅加速涉及 I/O 操作的查询。它的工作原理是根据索引的实际访问需求，主动将缓冲区预读到操作系统页缓存（page cache）或 PostgreSQL 的缓冲池（buffer pool）中。

表内重排序

Mon, 01 Jan 0001 00:00:00 +0000

since v0.2.1

PostgreSQL 索引会存储行标识符（row identifier）以及被索引列的值。通常情况下，被索引的列具有简单的数据类型，例如整数或长度有限的短字符串。

分区调优

Mon, 01 Jan 0001 00:00:00 +0000

对于大表而言，分区阶段主导了整个索引构建的时间与内存消耗。

分区阶段的时间复杂度为 $O(FC^{2}DL)$ ，内存消耗（以字节为单位）可以近似表示为 $4DC(F + T + 1)$ ，

其中：

$D$ 是向量维度（如果设置了 build.internal.kmeans_dimension，则为该参数的值）。
$F$ 是 build.internal.sampling_factor。
$C$ 是 build.internal.lists[-1]。
$T$ 是 build.internal.build_threads。
$L$ 是 build.internal.kmeans_iterations。

本页介绍几种用于优化构建时间和内存消耗的调优技巧。

外部构建

Mon, 01 Jan 0001 00:00:00 +0000

除了使用分区调优中的方法（以牺牲一定 QPS 和召回率为代价来缩短构建时间并降低内存消耗）之外，您还可以选择在其他机器或 GPU 上离线运行分区阶段。由于 vchordg 没有分区阶段，因此该特性不支持 vchordg。

使用指南 on Vchord

索引构建

多向量检索

图索引

量化类型

相似度过滤

PostgreSQL 调优

监控

参考

构建阶段（vchordrq）

回退参数

评估召回率

预热

预过滤

预取

表内重排序

分区调优

外部构建

构建阶段（`vchordrq`）