Vchord：可扩展的 PostgreSQL 向量与全文检索家族 on Vchord

Cloud 价格方案

Mon, 01 Jan 0001 00:00:00 +0000

免费套餐

在 VectorChord Cloud 中，我们提供免费套餐（Free Tier），方便您在云端环境中学习和探索全托管的 VectorChord 服务。每位用户可以使用免费套餐创建仅一个集群并在其中存储向量数据。免费套餐包含以下限制：

Cloud 限制说明

Mon, 01 Jan 0001 00:00:00 +0000

了解在 VectorChord Cloud 上进行操作时需要知晓的配额与限制：

免费套餐：每个账户最多只能创建 1 个免费套餐集群。
项目：每个账户最多只能归属于 5 个项目。
目前暂不支持高可用（HA，High Availability）模式。

驾驭 30 亿 PostgreSQL 向量：Earth Genome 的 Earth Index 与 VectorChord 携手守护地球

Mon, 01 Jan 0001 00:00:00 +0000

监测地球健康状况是我们这个时代最关键的挑战之一。我们的星球正面临巨大的环境压力，而要理解这些变化，需要从不间断捕获的海量卫星数据（高达 PB 级的像素）中抽丝剥茧。无论是追踪亚马逊雨林的森林砍伐、识别偏远地区的非法采矿作业，还是监测农业活动对脆弱生态系统的影响，将这些原始数据转化为可付诸行动的情报都至关重要。

LangChain

Mon, 01 Jan 0001 00:00:00 +0000

本文介绍如何将 pgvecto.rs 与 LangChain 集成。

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它提供了一套工具，支持在生产环境中微调、部署和使用语言模型。

pgvecto.rs 提供了 LangChain 集成，支持在 LangChain 中检索最相似的向量。

数据库 Schema

Mon, 01 Jan 0001 00:00:00 +0000

以下是 pgvecto.rs 提供的数据库对象定义（Schema）。

数据类型列表

名称	说明
vector	稠密向量，标量元素类型为 IEEE 754-2008 定义的 `binary32`（32 位浮点数）
vecf16	半精度向量，标量元素类型为 IEEE 754-2008 定义的 `binary16`（16 位浮点数）
veci8	整数向量，标量元素类型为 `8-bit Integer`（8 位有符号整数）
svector	稀疏向量，标量元素类型为 IEEE 754-2008 定义的 `binary32`（32 位浮点数）
bvector	二值向量，定长位串（bit string）
vector_index_stat	表示向量索引统计信息的复合类型

操作符列表

名称	左操作数类型	右操作数类型	返回类型	说明
+	vector	vector	vector	逐元素加法运算
+	vecf16	vecf16	vecf16	逐元素加法运算
+	veci8	veci8	veci8	逐元素加法运算
+	svector	svector	svector	逐元素加法运算
-	vector	vector	vector	逐元素减法运算
-	vecf16	vecf16	vecf16	逐元素减法运算
-	veci8	veci8	veci8	逐元素减法运算
-	svector	svector	svector	逐元素减法运算
&	bvector	bvector	bvector	逐元素按位与（AND）
\|	bvector	bvector	bvector	逐元素按位或（OR）
^	bvector	bvector	bvector	逐元素按位异或（XOR）
=	vector	vector	boolean	字典序比较
=	vecf16	vecf16	boolean	字典序比较
=	veci8	veci8	boolean	字典序比较
=	svector	svector	boolean	字典序比较
=	bvector	bvector	boolean	字典序比较
<>	vector	vector	boolean	字典序比较
<>	vecf16	vecf16	boolean	字典序比较
<>	veci8	veci8	boolean	字典序比较
<>	svector	svector	boolean	字典序比较
<>	bvector	bvector	boolean	字典序比较
<	vector	vector	boolean	字典序比较
<	vecf16	vecf16	boolean	字典序比较
<	veci8	veci8	boolean	字典序比较
<	svector	svector	boolean	字典序比较
<	bvector	bvector	boolean	字典序比较
>	vector	vector	boolean	字典序比较
>	vecf16	vecf16	boolean	字典序比较
>	veci8	veci8	boolean	字典序比较
>	svector	svector	boolean	字典序比较
>	bvector	bvector	boolean	字典序比较
<=	vector	vector	boolean	字典序比较
<=	vecf16	vecf16	boolean	字典序比较
<=	veci8	veci8	boolean	字典序比较
<=	svector	svector	boolean	字典序比较
<=	bvector	bvector	boolean	字典序比较
>=	vector	vector	boolean	字典序比较
>=	vecf16	vecf16	boolean	字典序比较
>=	veci8	veci8	boolean	字典序比较
>=	svector	svector	boolean	字典序比较
>=	bvector	bvector	boolean	字典序比较
<->	vector	vector	real	平方欧氏距离
<->	vecf16	vecf16	real	平方欧氏距离
<->	veci8	veci8	real	平方欧氏距离
<->	svector	svector	real	平方欧氏距离
<->	bvector	bvector	real	平方欧氏距离
<#>	vector	vector	real	负点积
<#>	vecf16	vecf16	real	负点积
<#>	veci8	veci8	real	负点积
<#>	svector	svector	real	负点积
<#>	bvector	bvector	real	负点积
<=>	vector	vector	real	余弦距离
<=>	vecf16	vecf16	real	余弦距离
<=>	veci8	veci8	real	余弦距离
<=>	svector	svector	real	余弦距离
<=>	bvector	bvector	real	余弦距离
<~>	bvector	bvector	real	杰卡德距离（Jaccard 距离）

函数列表

名称	参数类型	返回类型	说明
pgvectors_upgrade		void	用于升级 `pgvecto.rs` 的管理函数。
to_svector	dims integer, index integer[], value real[]	svector	根据下标数组和值数组构造一个稀疏向量。
binarize	vector vector	bvector	将向量二值化：所有正数元素设为 1，其余元素设为 0。
text2vec_openai	input text, model text	vector	调用 OpenAI Embeddings API 的嵌入生成函数。
text2vec_openai_v3	input text	vector	调用 OpenAI Embeddings API 的嵌入生成函数，默认模型设为 `text-embedding-3-small`。

类型转换列表

源类型	目标类型	是否隐式转换？
real[]	vector	yes
vector	real[]	yes
vector	vecf16	no
vecf16	vector	no
vector	veci8	no
veci8	vector	no
vector	svector	no
svector	vector	no
vector	bvector	no
bvector	vector	no

访问方法（Access Methods）列表

名称	类型	说明
vectors	Index	pgvecto.rs 向量索引方法

操作符族（Operator Families）列表

访问方法	操作符族	适用类型
vectors	vector_cos_ops	vector
vectors	vector_dot_ops	vector
vectors	vector_l2_ops	vector
vectors	vecf16_cos_ops	vecf16
vectors	vecf16_dot_ops	vecf16
vectors	vecf16_l2_ops	vecf16
vectors	veci8_cos_ops	veci8
vectors	veci8_dot_ops	veci8
vectors	veci8_l2_ops	veci8
vectors	svector_cos_ops	svector
vectors	svector_dot_ops	svector
vectors	svector_l2_ops	svector
vectors	bvector_cos_ops	bvector
vectors	bvector_dot_ops	bvector
vectors	bvector_l2_ops	bvector
vectors	bvector_jaccard_ops	bvector

操作符类（Operator Classes）列表

访问方法	输入类型	操作符类	是否默认？	说明
vectors	vector	vector_l2_ops	no	平方欧氏距离
vectors	vector	vector_dot_ops	no	负点积
vectors	vector	vector_cos_ops	no	余弦距离
vectors	vecf16	vecf16_l2_ops	no	平方欧氏距离
vectors	vecf16	vecf16_dot_ops	no	负点积
vectors	vecf16	vecf16_cos_ops	no	余弦距离
vectors	veci8	veci8_l2_ops	no	平方欧氏距离
vectors	veci8	veci8_dot_ops	no	负点积
vectors	veci8	veci8_cos_ops	no	余弦距离
vectors	svector	svector_l2_ops	no	平方欧氏距离
vectors	svector	svector_dot_ops	no	负点积
vectors	svector	svector_cos_ops	no	余弦距离
vectors	bvector	bvector_l2_ops	no	平方欧氏距离
vectors	bvector	bvector_dot_ops	no	负点积
vectors	bvector	bvector_cos_ops	no	余弦距离
vectors	bvector	bvector_jaccard_ops	no	杰卡德距离（Jaccard 距离）

视图列表

名称	说明
pg_vector_index_stat	提供向量索引统计信息的监控视图

SQL 参考手册

Mon, 01 Jan 0001 00:00:00 +0000

`vchord_bm25` 数据类型

数据类型	所属模式	适用版本	文本表示形式 / 内部结构	说明
`bm25vector`	`bm25_catalog`	`v0.1.0` – `v0.3.0`	`{token_id:freq, ...}`（例如 `{1:1, 2:2, 15:1}`）	将 32 位无符号词元 ID 映射为 32 位词频的稀疏向量。存储策略为 `STORAGE = EXTERNAL`。
`bm25query`	`bm25_catalog`	`v0.1.0` – `v0.3.0`	`(index_oid regclass, query_vector bm25vector)`	将目标 `bm25` 索引 OID 与查询 `bm25vector` 配对的复合类型。
`bm25query`	`public` / 扩展模式	`main`	`(vector tsvector, index regclass)`	将查询 `tsvector` 与目标 `bm25` 索引 OID 配对的复合类型。

`bm25vector` 字面量语法（`v0.1` – `v0.3`）

-- 空 bm25vector
SELECT '{}'::bm25vector;

-- 显式指定 token_id:frequency 键值对
SELECT '{1:1, 2:3, 10:2}'::bm25vector;

-- 从 int[] 隐式转换（自动将重复的词元 ID 聚合为词频计数）
SELECT ARRAY[1, 2, 2, 2, 10, 10]::bm25vector;
-- 输出：{1:1, 2:3, 10:2}

`vchord_bm25` 操作符

操作符	左操作数	右操作数	返回类型	适用版本	说明
`<&>`	`bm25vector`	`bm25query`	`real` (`f32`)	`v0.1.0` – `v0.3.0`	计算负值 BM25 相关性得分（$-\text{BM25}(D, Q)$）。支持使用 `bm25_ops` 执行索引加速的 `ORDER BY ... ASC` 扫描。
`<&>`	`tsvector`	`bm25query`	`float8` (`f64`)	`main`	在原生 `tsvector` 上计算负值 BM25 相关性得分。支持使用 `bm25_ops` 执行索引加速的 `ORDER BY ... ASC` 扫描。
`=`	`bm25vector`	`bm25vector`	`bool`	`v0.2.0` – `v0.3.0`	比较两个 `bm25vector` 值是否完全相等。
`<>`	`bm25vector`	`bm25vector`	`bool`	`v0.2.0` – `v0.3.0`	比较两个 `bm25vector` 值是否不相等。

`vchord_bm25` 函数

函数签名	返回类型	适用版本	说明
`to_bm25query(index_oid regclass, query_vector bm25vector)`	`bm25query`	`v0.1.1` – `v0.3.0`	根据 `bm25` 索引名称/OID 与查询 `bm25vector`（或经由隐式转换的 `INT[]`）构造 `bm25query`。
`to_bm25query(index_oid regclass, query_vector int[])`	`bm25query`	`v0.3.0+`	直接接受 `INT[]` 词元 ID 数组的显式重载函数。
`to_bm25query(vector tsvector, index regclass)`	`bm25query`	`main`	根据原生 `tsvector` 与目标 `bm25` 索引名称/OID 构造 `bm25query`。
`search_bm25query(target_vector bm25vector, query bm25query)`	`real`	`v0.1.0` – `v0.3.0`	`bm25vector <&> bm25query` 操作符的底层实现函数。
`_bm25_evaluate(left tsvector, right bm25query)`	`float8`	`main`	`tsvector <&> bm25query` 操作符的底层实现函数。
`bm25_page_inspect(index regclass, blkno int)`	`text`	`v0.3.0`	返回 `bm25` 索引第 `blkno` 号数据块的可读诊断元数据。

`vchord_bm25` 访问方法与操作符类

对象类型	名称	目标类型	排序操作符
访问方法 (Access Method)	`bm25`	索引 (Index)	处理器 `_bm25_amhandler`
操作符族 (Operator Family)	`bm25_ops`	`USING bm25`	`OPERATOR 1 pg_catalog.<&> FOR ORDER BY float_ops`
操作符类 (Operator Class)	`bm25_ops`	`bm25vector`（`v0.1`–`v0.3`）/ `tsvector`（`main`）	`USING bm25` 的默认操作符类

`pg_tokenizer` 函数（`tokenizer_catalog`）

所有 pg_tokenizer 函数均位于 tokenizer_catalog 模式中：

半精度向量：`vecf16`

Mon, 01 Jan 0001 00:00:00 +0000

vecf16 以半精度数值格式存储，充分利用了 16 位浮点数（FP16）的优势，与标准 32 位浮点数的 vector 相比，仅使用一半的内存和内存带宽。

以下是创建包含 vecf16 列的表并插入数据的示例：

参与贡献 `pgvecto.rs`

Mon, 01 Jan 0001 00:00:00 +0000

我们欢迎来自开源社区、个人开发者及合作伙伴的各种形式的贡献。如果你有兴趣参与贡献，希望本文档能帮助你清晰了解贡献流程。

无论是资深贡献者还是刚接触开源的新手，以下指南都会非常有帮助：

常见问答

Mon, 01 Jan 0001 00:00:00 +0000

警告

我们强烈建议你了解并选用我们全新的 VectorChord 实现，它提供了更高的稳定性和性能。建议现有用户迁移至 VectorChord，具体步骤请参阅迁移指南。

找不到向量类型或操作符类

在大多数情况下，这是由于缺少 Schema 搜索路径（search_path）或权限不足导致的。

分词器架构与基本用法

Mon, 01 Jan 0001 00:00:00 +0000

两阶段分词流水线

在 pg_tokenizer 中，一个分词器（tokenizer）最多由两个阶段组成，负责将原始 TEXT 字符串转换为由整数词元 ID 构成的 INT[] 数组：

云端对象层级结构概览

Mon, 01 Jan 0001 00:00:00 +0000

管理您的 VectorChord Cloud 项目需要了解其对象层级结构。下图展示了云端各对象之间的关系，下文对每个对象进行了详细说明。

VectorChord Cloud 账户

这是您用于注册 VectorChord Cloud 的账户。目前支持使用 GitHub 账户注册。

概览

Mon, 01 Jan 0001 00:00:00 +0000

vchord 是一款专为可扩展、高性能且磁盘高效的向量相似性检索而设计的 PostgreSQL 扩展。

借助 vchord，您仅需 1 美元即可存储 400,000 个向量，从而显著节省成本：在同等价格下，可存储的向量数量是 Pinecone 优化型存储的 6 倍，是 pgvector/pgvecto.rs 的 26 倍¹。欲了解更多详情，请参阅我们的发布博文。

概览

Mon, 01 Jan 0001 00:00:00 +0000

警告

我们强烈建议您探索全新的 VectorChord 实现，它提供了更高的稳定性和性能。建议用户迁移至 VectorChord，详情请参考迁移指南。

pgvecto.rs 简介。

什么是 `pgvecto.rs`

pgvecto.rs 是一个提供向量相似度搜索功能的 Postgres 扩展。它使用 Rust 编写，基于 pgrx 构建。目前处于测试（Beta）阶段，诚邀您在生产环境中试用并向我们提供反馈。更多信息请参阅📝我们的发布博客。

故障排查

Mon, 01 Jan 0001 00:00:00 +0000

连接问题

1. 集群无法访问，请检查以下内容：

如果集群的状态显示为 NotReady，您可以检查集群的监控指标，查看 PGData 是否仍有剩余可用空间。

基于 Postgres 原生 BM25 与 VectorChord 的混合检索

Mon, 01 Jan 0001 00:00:00 +0000

在检索增强生成（RAG）时代，从海量数据集中高效检索相关数据对于企业和开发者而言至关重要。传统的基于关键词的检索方法（例如使用 BM25 作为评分机制的方法）擅长根据词频和精确关键词匹配对文档进行排序，因此在处理结构化查询和关键词密集型内容时非常高效。然而，它们在理解同义词、上下文细微差别以及深层语义意图方面往往力不从心。相反，基于向量的检索能够捕捉深层语义信息，面对多样化的查询具备更好的泛化能力，但有时会在精确关键词匹配上牺牲精度。混合检索（Hybrid Search）通过将 BM25 的精确性与向量检索的上下文理解能力相结合，弥补了这一差距，从而提供更快、更准确且具备语义感知的检索结果。

混合搜索

Mon, 01 Jan 0001 00:00:00 +0000

本节将向您展示如何使用 pgvecto.rs 实现混合搜索（Hybrid Search）。

向量搜索与全文检索

Postgres 基于匹配操作符 @@ 提供了全文检索（Full Text Search）功能。当 tsvector（文档）与 tsquery（查询）匹配时，它会返回 true。这两种数据类型的书写先后顺序不影响结果：

价格基准测试

Mon, 01 Jan 0001 00:00:00 +0000

使用 VectorChord，您可以在单台机器上对 1 亿条 768 维向量执行 Top-10 查询，在保持 0.95 召回率（Precision/Recall）的同时实现 131 的 QPS，而整套配置的月度成本仅为 250 美元。如果您对我们的技术实现细节感兴趣，请参阅我们的博文《VectorChord：在 PostgreSQL 中仅需 1 美元存储 400k 向量》。

架构概览

Mon, 01 Jan 0001 00:00:00 +0000

PostgreSQL 通过 tsvector、tsquery、ts_rank 和 GIN 索引提供了内置的全文检索能力。虽然它在布尔关键词匹配（@@）方面表现良好，但在现代搜索与检索增强生成（RAG）工作负载下，PostgreSQL 内置的相关性排序存在两个结构性局限：

监控指标

Mon, 01 Jan 0001 00:00:00 +0000

VectorChord Cloud 提供多张图表，用于监控系统和数据库指标。您可以从 VectorChord Cloud 控制台的集群详情页进入 Metrics 仪表盘。可观测的指标包括：

存储使用量

该图表展示了 Postgres 实例的存储总量与已用空间。

开发教程

Mon, 01 Jan 0001 00:00:00 +0000

搭建开发环境

你可以使用 envd 轻松搭建开发环境，它会自动创建一个 Docker 容器并为你安装所有依赖项：

pip install envd
git clone https://github.com/tensorchord/pgvecto.rs.git
cd pgvecto.rs
envd up

或者，你也可以按照以下步骤手动搭建开发环境：

配置

Mon, 01 Jan 0001 00:00:00 +0000

日志配置

默认情况下，你无法捕获 pgvecto.rs 的全部日志。pgvecto.rs 会启动一个后台工作进程（Background Worker）来构建索引，并将日志输出到标准错误（stderr）。若要捕获这些日志，你需要将 logging_collector 设置为 on。更多详情可参阅 PostgreSQL 关于日志收集器的官方文档。

迁移指南

Mon, 01 Jan 0001 00:00:00 +0000

outline: [2,3]

VectorChord 迁移概览

从 PGVecto.rs 迁移

VectorChord 的绝大多数向量类型均由 pgvector 提供支持。因此，从 PGVecto.rs 迁移到 VectorChord 的过程，基本上就是从 pgvector 迁移到 PGVecto.rs 的逆向操作。

使用 psql 连接

Mon, 01 Jan 0001 00:00:00 +0000

以下操作说明要求您已安装并可正常使用 psql。psql 客户端是 Postgres 的原生命令行客户端，提供交互式会话，用于向 Postgres 发送命令并运行即席查询。有关 psql 的更多信息，请参阅 PostgreSQL 文档中的 psql 参考手册。

索引

Mon, 01 Jan 0001 00:00:00 +0000

索引是构建支持高效搜索的数据结构的过程。pgvecto.rs 支持三种索引算法：暴力搜索（flat）、IVF 和 HNSW。默认算法为 HNSW。

要为向量构建索引，首先创建一张名为 items 的表，其中包含类型为 vector(n) 的 embedding 列，然后向表中填充生成的数据。

索引构建

Mon, 01 Jan 0001 00:00:00 +0000

VectorChord 的索引类型 vchordrq 会将向量划分为多个列表（list），并仅搜索距离查询向量最近的一部分列表。它兼具极快的构建速度与低内存占用，同时在性能上显著优于 hnsw 和 ivfflat。

索引构建与维护

Mon, 01 Jan 0001 00:00:00 +0000

vchord_bm25 提供了 bm25 索引访问方法（CREATE ACCESS METHOD bm25 TYPE INDEX HANDLER _bm25_amhandler）以及 bm25_ops 操作符类。

创建 `bm25` 索引

稳定发布版（`v0.1` – `v0.3`，`bm25vector`）

CREATE INDEX documents_embedding_bm25
ON documents
USING bm25 (embedding bm25_ops);

新一代 `main` 分支（`tsvector`）

在 main 分支中，bm25_ops 直接作用于 tsvector，并支持索引级存储参数（options、limit 和 prefilter）：

绑定信用卡订阅

Mon, 01 Jan 0001 00:00:00 +0000

提示

计费以项目（Project）为单位，而非按用户计费。每个项目都有独立的账单发票，您必须为每个项目分别添加支付方式。

VectorChord Cloud 支持信用卡支付。您可以添加多张信用卡，也可以点击 Delete 移除其中部分信用卡。已添加的信用卡将显示在计费页面上。

开源许可证

Mon, 01 Jan 0001 00:00:00 +0000

软件许可证（`pgsty/vchord` 与 `pgsty/vchord_bm25`）

pgsty/vchord 与 pgsty/vchord_bm25 采用 GNU Affero 通用公共许可证 v3.0（AGPL-3.0-only） 授权：

注册云账户

Mon, 01 Jan 0001 00:00:00 +0000

只需几秒即可注册 VectorChord Cloud 并免费开始使用。

如需了解 Cloud 免费套餐包含的内容，请参阅 Cloud 免费套餐。如需了解 Cloud 的付费套餐选项，请参阅 Cloud 套餐。

8 位整数向量：`veci8`

Mon, 01 Jan 0001 00:00:00 +0000

since v0.3.0

Int8 是一种用于表示有符号整数的数据类型，代表“8 位整数（integer 8-bit）”，使用 8 比特（1 字节）内存存储一个值，可表示范围为 -128 到 127 的整数。

在 PostgreSQL 中使用 ColBERT 重排序为向量检索加速

Mon, 01 Jan 0001 00:00:00 +0000

传统的向量检索方法通常采用句级别嵌入（Sentence Embeddings）来查找相似内容。然而，通过对词元嵌入（Token Embeddings）进行池化（Pooling）来生成句嵌入，可能会损失词元层级中蕴含的细粒度信息。ColBERT 通过将文本表示为词元级的多向量（Multi-vectors）而非单个聚合向量，有效克服了这一缺陷。这种方法利用词元级的上下文晚期交互（Contextual Late Interaction），使 ColBERT 能够比仅依赖句嵌入的方法保留更丰富的细微语义信息，从而显著提高检索精度。

GUC 与索引参数

Mon, 01 Jan 0001 00:00:00 +0000

稳定发布版（`v0.1.0` – `v0.3.0`）：`bm25_catalog.*` GUC 参数

在 v0.1.0 至 v0.3.0 版本中，所有会话级 GUC 参数均使用 bm25_catalog. 前缀，任何普通用户均可在会话或事务级别修改（GucContext::Userset）：

LlamaIndex

Mon, 01 Jan 0001 00:00:00 +0000

LlamaIndex 是一个简单、灵活的数据框架，用于将自定义数据源连接到大语言模型（LLM）。

pgvecto.rs 提供了 LlamaIndex 集成，支持检索最相似的向量。

安装依赖

使用 LlamaIndex 集成需要安装以下依赖：

与 pgvector 对比

Mon, 01 Jan 0001 00:00:00 +0000

原文：pgvector vs. pgvecto.rs in 2024: A Comprehensive Comparison for Vector Search in PostgreSQL

太长不看（TL; DR）：请直接跳转到总结部分，查看展示两者核心差异的对比表格。

检索能力

检索是数据库的核心能力，对于实现高效的数据获取、帮助用户快速查找所需信息至关重要。下面我们将展示 pgvecto.rs 与 pgvector 的性能表现，并重点对比二者提供的各项功能特性。

安装

Mon, 01 Jan 0001 00:00:00 +0000

警告

我们强烈建议您探索全新的 VectorChord 实现，它提供了更高的稳定性和性能。建议用户迁移至 VectorChord，详情请参考迁移指南。

安装 pgvecto.rs 有四种方式。

Docker

安装指南

Mon, 01 Jan 0001 00:00:00 +0000

vchord_bm25 支持 Linux（x86_64 与 aarch64）及 macOS 平台上的 PostgreSQL 14、15、16、17 和 18。

方式一：Pigsty / 原生操作系统软件包（推荐）

Pigsty 为 EL 8/9/10、Debian 12/13 以及 Ubuntu 22.04/24.04 上的 PostgreSQL 14–18 提供了预构建的 vchord、vchord_bm25 和 pg_tokenizer 原生 RPM 与 DEB 软件包。

安装指南

Mon, 01 Jan 0001 00:00:00 +0000

VectorChord 已在以下操作系统上通过测试：

Ubuntu (x86_64, aarch64)
macOS (x86_64, aarch64)
Windows (x86_64)
Alpine Linux (x86_64, aarch64) ¹
Debian (powerpc64le, s390x, riscv64) ²

如果您在上述任何操作系统上遇到问题，请提交 Bug 报告；如果您需要更多平台支持，欢迎提交功能请求。

版本升级

Mon, 01 Jan 0001 00:00:00 +0000

通用步骤

如果你将扩展更新到了新版本（假设版本号为 a.b.c），可以使用以下命令更新扩展的 Schema：

ALTER EXTENSION vectors UPDATE;
-- 或
ALTER EXTENSION vectors UPDATE TO 'a.b.c';

如果你是从 0.1.x 版本升级，请先阅读从 0.1.x 升级。

采集监控指标

Mon, 01 Jan 0001 00:00:00 +0000

VectorChord Cloud 在 cloud.vectorchord.ai 上展示了部分常用的数据库监控指标。如果您希望将数据库的监控指标采集到自建的监控系统中，可以参考本指南。详细指标列表请参阅附录章节。

如何获取监控指标

您可以通过数据库域名下的监控指标端点（Metrics Endpoint）获取监控指标。访问这些指标必须提供 VectorChord Cloud API 密钥。您可以在 API 密钥页面生成 API 密钥。

查询与相关性评分

Mon, 01 Jan 0001 00:00:00 +0000

基础 Top-K 查询语法

要运行经索引加速的 Top-K BM25 检索，请在 ORDER BY 子句中将 <&> 操作符与 to_bm25query 结合使用：

-- v0.1 – v0.3 (bm25vector + pg_tokenizer)
SELECT
    id,
    passage,
    embedding <&> to_bm25query('documents_embedding_bm25', tokenize('PostgreSQL vector search', 'my_tokenizer')) AS raw_score,
    -(embedding <&> to_bm25query('documents_embedding_bm25', tokenize('PostgreSQL vector search', 'my_tokenizer'))) AS bm25_score
FROM documents
ORDER BY raw_score ASC
LIMIT 10;

-- main 分支（原生 tsvector）
SELECT
    id,
    passage,
    -(vector <&> to_bm25query(to_tsvector('english', 'PostgreSQL vector search'), 'documents_bm25_idx')) AS bm25_score
FROM documents
ORDER BY vector <&> to_bm25query(to_tsvector('english', 'PostgreSQL vector search'), 'documents_bm25_idx') ASC
LIMIT 10;

为什么 `to_bm25query` 需要传入索引名称

与向量距离操作符不同（两个向量之间的距离仅取决于这两个向量本身），一篇文档的 BM25 得分依赖于存储在 BM25 索引中的全语料库统计信息：

多向量检索

Mon, 01 Jan 0001 00:00:00 +0000

since v0.3.0

多向量检索（Multi-Vector Retrieval）是检索增强生成（RAG）系统中使用的一项高级技术，通过为每个文档关联多个向量来增强文档检索效果。

可扩展性

Mon, 01 Jan 0001 00:00:00 +0000

背景

高每秒查询数（QPS）的向量检索对于推荐引擎、图像识别和自然语言处理等实时应用至关重要。这类应用要求快速、高效的检索能力以即时返回结果，这对于保持用户互动体验与业务运转效率尤为关键。通过利用 PostgreSQL 进行向量检索，您不仅能够受益于其成熟稳健的关系型数据库能力和高级索引机制，还能避免额外维护一套独立专用向量数据库的运维开销。这种统一的架构在满足现代应用高性能需求的同时，大幅简化了系统集成并降低了整体复杂度。

快速开始

Mon, 01 Jan 0001 00:00:00 +0000

本指南将帮助您快速上手 VectorChord Cloud。首先，您需要注册一个 VectorChord Cloud 账户。如果您还没有账户，可以在此处免费注册。

创建集群

提示

您需要先绑定信用卡，然后才能创建企业版（Enterprise）套餐集群。

路线图

Mon, 01 Jan 0001 00:00:00 +0000

警告

我们强烈建议你了解并选用我们全新的 VectorChord 实现，它提供了更高的稳定性和性能。建议现有用户迁移至 VectorChord，具体步骤请参阅迁移指南。

中期规划

稀疏向量支持

稀疏向量在 RAG 和文本检索等任务中表现出了优异的性能，并且能够与稠密向量互补以提升检索效果。因此，我们计划支持稀疏向量索引。

署名与上游来源

Mon, 01 Jan 0001 00:00:00 +0000

vchord.pgsty.com 由 PGSTY 维护，旨在为 Vchord 扩展家族（vchord、vchord_bm25 与 pg_tokenizer）提供全面、可检索的文档与工程技术参考。

上游来源

文档内容（content/docs/、content/cloud/、content/pgvecto-rs/）
- 源码仓库：https://github.com/tensorchord/pgvecto.rs-docs
- 原始站点：https://docs.vectorchord.ai/
- 版权声明：© 2023–至今 TensorChord Inc. 及贡献者。
- 适配说明：由 VitePress 迁移至 Hugo + OINK v1.4.0，包含 GitHub 风格提示框规范化、KaTeX 数学公式分隔符标准化、站内链接解析修正、结构化导航元数据补齐以及完整中文化翻译。
工程技术博客与发布说明（content/blog/）
- 原始发布站点：https://blog.vectorchord.ai/
- 版权声明：© 2023–至今 TensorChord Inc. 及各篇文章作者（Keming、Haze、VoVAllen、Yifanwang、Kolkri、Gin、Scase）。
- 适配说明：归档整理至 content/blog/post/ 与 content/blog/release/，保留原始发布日期、作者元数据与直接指向原文的 upstream_link 溯源链接，并提供完整中文译文。
Vchord 扩展家族（vchord、vchord_bm25 与 pg_tokenizer）
- vchord（pgsty/vchord）派生自：https://github.com/supervc-stack/VectorChord（原 tensorchord/VectorChord）
- vchord_bm25（pgsty/vchord_bm25）派生自：https://github.com/supervc-stack/VectorChord-bm25（原 tensorchord/VectorChord-bm25）
- pg_tokenizer（pgsty/pg_tokenizer）派生自：https://github.com/supervc-stack/pg_tokenizer.rs（原 tensorchord/pg_tokenizer.rs）
- 前代项目：https://github.com/tensorchord/pgvecto.rs

搜索

Mon, 01 Jan 0001 00:00:00 +0000

获取与目标向量最近的 5 个邻居：

SET vectors.hnsw_ef_search = 64;
SELECT * FROM items ORDER BY embedding <-> '[3,2,1]' LIMIT 5;

操作符

以下操作符用于表示不同的距离度量：

索引选项

Mon, 01 Jan 0001 00:00:00 +0000

我们使用 TOML 语法来表达索引的配置参数。以下是配置中各个顶层键（表）的含义：

键名	类型	说明
segment	table	分段（Segment）相关选项。
optimizing	table	后台优化相关选项。
indexing	table	用于构建索引的算法配置。

`segment` 表选项

键名	类型	取值范围	默认值	说明
max_growing_segment_size	integer	`[1, 4_000_000_000]`	`20_000`	未建立索引的增长中分段的最大向量数量。
max_sealed_segment_size	integer	`[1, 4_000_000_000]`	`1_000_000`	已封存（建立索引）分段的最大向量数量。

`optimizing` 表选项

键名	类型	取值范围	默认值	说明
optimizing_threads	integer	`[1, 65535]`	CPU 核心数的平方根	后台构建索引的最大线程数。
sealing_secs	integer	`[1, 60]`	`60`	见下方说明。
sealing_size	integer	`[1, 4_000_000_000]`	`1`	见下方说明。

如果一个写入分段（write segment）中的向量数大于 sealing_size，且在连续 sealing_secs 秒内没有接收到新数据，该写入分段将被转为已封存分段（sealed segment）以构建索引。

文本分析器与过滤器

Mon, 01 Jan 0001 00:00:00 +0000

文本分析器（Text Analyzer） 通过三个顺序阶段处理原始文本：

字符过滤器（character_filters） —— 对完整输入字符串执行零个或多个字符级转换。
预分词器（pre_tokenizer） —— 使用唯一的一个切分器将字符串切分为初始词元。
词元过滤器（token_filters） —— 对切分出的词元执行零个或多个转换、扩展或过滤操作。

SELECT create_text_analyzer('analyzer1', $$
character_filters = [
    "to_lowercase",
    { unicode_normalization = "nfkd" },
]
pre_tokenizer = "unicode_segmentation"
token_filters = [
    "skip_non_alphanumeric",
    { stopwords = "nltk_english" },
    { stemmer = "english_porter2" },
]
$$);

提示

在将文本分析器绑定到模型之前，你可以直接运行 SELECT apply_text_analyzer('Sample text here', 'analyzer1'); 来测试并查看其输出的 TEXT[] 词元数组。

项目

Mon, 01 Jan 0001 00:00:00 +0000

在 VectorChord Cloud 中，一切都从项目（Project）开始。它是层级结构中的顶层对象。一个项目可以根据需要容纳任意数量的 Postgres 集群。您最多可以创建和加入 5 个项目。

性能基准测试

Mon, 01 Jan 0001 00:00:00 +0000

本文展示了我们将 VectorChord 实现与其他主流向量数据库进行全面对比的基准测试结果，重点考察 QPS（每秒查询数）与可扩展性。如果您对我们的技术实现细节感兴趣，请参阅我们的博文《VectorChord：在 PostgreSQL 中仅需 1 美元存储 400k 向量》。

查看账单发票

Mon, 01 Jan 0001 00:00:00 +0000

目前 VectorChord Cloud 使用 Orb 作为计费服务商。在计费（Billing）页面中，您可以点击 View invoices in Orb 前往 Orb 的客户门户（Customer Portal）。在该外部页面上，您可以执行以下操作：

自适应检索与缩短嵌入向量

Mon, 01 Jan 0001 00:00:00 +0000

OpenAI 最新的嵌入模型支持缩短嵌入向量（Shortening embeddings，即套娃嵌入 Matryoshka Embeddings），开发者只需简单地“移除序列末尾的部分数值”，依然能够保持有效的文本语义表示。

这带来了极其灵活的使用方式。例如，当使用仅支持最高 1024 维嵌入的向量数据存储时，开发者现在仍然可以使用我们最好的嵌入模型 text-embedding-3-large，只需将 API 参数 dimensions 指定为 1024，即可将嵌入从 3072 维缩短为 1024 维，通过牺牲少许精度来换取更小的向量体积。

Citus

Mon, 01 Jan 0001 00:00:00 +0000

citus 是一个将 Postgres 转化为分布式数据库的 PostgreSQL 扩展。pgvecto.rs 能够与 citus 良好协作。下面介绍如何在分布式 PostgreSQL 实例中启用向量检索。

citus 支持在单节点（Single-Node）和多节点（Multi-Node）模式下运行，这两种模式均原生兼容 pgvecto.rs。

单节点 Citus

首先，准备一个同时安装了 pgvecto.rs 和 citus 的 Dockerfile，并将它们加载到 PostgreSQL 中。

超越纯文本：使用 Modal 与 VectorChord 在 PostgreSQL 中实现免 OCR RAG

Mon, 01 Jan 0001 00:00:00 +0000

为复杂文档构建高效的检索增强生成（RAG）系统，往往让人感觉像是在与混乱而繁琐的数据流水线搏斗。尤其是在处理 PDF 或扫描图像时，传统方法高度依赖光学字符识别（OCR）和版面分析。这些步骤不仅速度缓慢、容易出错，而且常常会丢失表格、图表和排版格式等至关重要的视觉上下文信息。但是，如果您可以直接根据文档的视觉外观（而不仅仅是提取出的纯文本）来检索文档，会怎样呢？

Kubernetes

Mon, 01 Jan 0001 00:00:00 +0000

如果您希望在运行于 Kubernetes 上的 PostgreSQL 中使用 vectorchord，本教程将为您提供完整的操作指引。在本教程中，我们将使用 CloudNative-PG 在 Kubernetes 中部署 PostgreSQL 集群。

环境要求

组件名称	版本要求
helm	>= 2.4.1
kubectl	>= 1.14
Kubernetes	>= 1.24.0
Kubernetes（使用镜像卷扩展 Image Volume Extensions）	>= 1.31.0

安装 CloudNative-PG

我们使用 CloudNative-PG (cnpg) 在 Kubernetes 中部署 PostgreSQL 集群。您可以通过 Helm 安装它：

为什么不使用专用向量数据库？

Mon, 01 Jan 0001 00:00:00 +0000

欢迎阅读我们的完整博客文章：我们真的需要专用向量数据库吗？(2023) | vchord.pgsty.com。

试想一下：你现有的业务数据已经存储在 Postgres 数据库中，现在你希望引入向量数据库来执行向量相似度检索。如果采用专用向量数据库，你就必须将数据从 Postgres 同步迁移到向量数据库中，并且同时运维两套数据库系统。这显然不是一个好主意。

Vchord 家族套件

Mon, 01 Jan 0001 00:00:00 +0000

检索增强生成（Retrieval-Augmented Generation，简称 RAG）正在彻底改变我们与海量数据集及大语言模型的交互方式。通过在生成回答前检索相关信息，RAG 系统能够提供更加精准、具备上下文感知且时效性更强的答案。然而，构建稳健、可扩展且高效的 RAG 流水线依然面临诸多挑战，在生产环境中尤为如此。

采用者案例

Mon, 01 Jan 0001 00:00:00 +0000

immich 是一款支持直接从手机备份照片和视频的自托管解决方案，它使用 pgvecto.rs 实现智能搜索。
postgresql_embedded 是一套在 Rust 中安装、运行和管理 PostgreSQL 及其扩展的工具集，支持安装 pgvecto.rs。

添加你的应用

如果你在自己的应用中使用了 pgvecto.rs，欢迎编辑此页面。我们非常高兴能收到你的反馈，并协助你不断提升 pgvecto.rs 的使用体验。

与 pgvector 的基准测试对比

Mon, 01 Jan 0001 00:00:00 +0000

在本节中，我们将 VectorChord 与提供向量相似性检索能力的 PostgreSQL 扩展 pgvector 进行对比。我们将重点关注四个核心指标：QPS（每秒查询数）、Recall@100（Top-100 召回率）、索引构建时间（Index Building Time）以及数据插入时间（Insertion Time）。如果您对我们的实现细节感兴趣，请参阅我们的博文《PostgreSQL 上的向量检索：内存与磁盘方案的对比分析》。

分词词表模型

Mon, 01 Jan 0001 00:00:00 +0000

在 pg_tokenizer 中，模型（Model） 负责将字符串词元（或原始文本）映射为整数词元 ID（INT[]）。你可以直接选用四个内置预训练模型、在 PostgreSQL 表上训练自定义词表模型、导入任意 HuggingFace tokenizer.json，或者使用 Lindera 形态学分析模型。

过滤检索与预过滤

Mon, 01 Jan 0001 00:00:00 +0000

在实际业务场景中，全文 BM25 排序通常需要与结构化关系过滤条件（例如 category_id = 5、tenant_id = 'acme' 或时间范围）结合使用。vchord_bm25 支持三种带过滤条件的 BM25 检索策略。

集群

Mon, 01 Jan 0001 00:00:00 +0000

一个项目中可以创建一个或多个集群。集群是运行单个 Postgres 集群的一组节点集合。

创建集群

要创建新集群，请前往 VectorChord Cloud 控制台并点击“Create Cluster”按钮。

监控

Mon, 01 Jan 0001 00:00:00 +0000

我们提供了 pg_vector_index_stat 视图来监控索引的构建进度。

列名	类型	说明
tablerelid	oid	表的 OID。
indexrelid	oid	索引的 OID。
tablename	name	表名。
indexname	name	索引名。
idx_status	text	取值为 `NORMAL` 或 `UPGRADE`，表示该索引处于正常状态还是需要升级。
idx_indexing	bool	当 `idx_status` 为 `NORMAL` 时非空。表示后台线程是否正在构建索引。
idx_tuples	int8	当 `idx_status` 为 `NORMAL` 时非空。索引中的元组总数。
idx_sealed	int8[]	当 `idx_status` 为 `NORMAL` 时非空。每个已封存分段（sealed segment）中的元组数量。
idx_growing	int8[]	当 `idx_status` 为 `NORMAL` 时非空。每个增长中分段（growing segment）中的元组数量。
idx_write	int8	当 `idx_status` 为 `NORMAL` 时非空。写缓冲区（write buffer）中的元组数量。
idx_size	int8	当 `idx_status` 为 `NORMAL` 时非空。所有分段占用的总字节大小。
idx_options	text	当 `idx_status` 为 `NORMAL` 时非空。索引的配置信息。

idx_options 详情

idx_options 是一个包含向量（vector）、分段（segment）、优化（optimizing）和索引（indexing）选项的 JSON 字符串。示例如下：

{
    "vector": {
        "dimensions": 256,
        "distance": "L2",
        "kind": "F32"
    },
    "segment": {
        "max_growing_segment_size": 20000,
        "max_sealed_segment_size": 1000000
    },
    "optimizing": {
        "sealing_secs": 60,
        "sealing_size": 1,
        "delete_threshold": 0.2,
        "optimizing_threads": 2
    },
    "indexing": {
        "hnsw": {
            "m": 12,
            "ef_construction": 300,
            "quantization": {
                "trivial": {}
            }
        }
    }
}

快速开始

Mon, 01 Jan 0001 00:00:00 +0000

本指南将带你一步步创建数据表、对文档进行分词、构建 bm25 索引，并执行 Top-K BM25 检索查询。

工作流 A：`bm25vector` + `pg_tokenizer`（`v0.1` – `v0.3`）

在已发布的 v0.1.0 至 v0.3.0 版本中，vchord_bm25 与 pg_tokenizer 配合使用，将文本分词并存储到 bm25vector 列中。

逻辑复制

Mon, 01 Jan 0001 00:00:00 +0000

逻辑复制（Logical Replication）是 PostgreSQL 的一项特性，支持将单个数据库对象或数据子集从一个 PostgreSQL 数据库复制到另一个数据库。

借助逻辑复制，你可以根据预定义的复制规则，有选择地复制特定的表、数据库甚至特定的行。与复制整个数据库集群的物理复制相比，逻辑复制提供了更高的灵活性，允许你设计自定义的复制拓扑结构，并仅复制业务所需的数据。

商标声明

Mon, 01 Jan 0001 00:00:00 +0000

独立性声明

pgsty/vchord 与 vchord.pgsty.com 由 Pigsty 社区独立维护。pgsty/vchord 与 vchord.pgsty.com 均不隶属于 TensorChord Inc.，亦未获得其背书或赞助。

第三方商标说明

VectorChord、pgvecto.rs 与 TensorChord 是与 TensorChord Inc. 关联的名称与标识。本站仅出于指称性合理使用（Nominative Fair Use）目的使用上述名称，用于指代对应的上游开源项目、PostgreSQL 扩展名称（vchord、vectors）、SQL 索引访问方法（vchordrq、vchordg）以及历史工程技术文章。
PostgreSQL 与 Postgres 是加拿大 PostgreSQL 社区协会（PostgreSQL Community Association of Canada）的注册商标。
Linux 是 Linus Torvalds 在美国及其他国家或地区的注册商标。
基准测试与部署指南中提及的 Amazon Web Services (AWS)、Cloudflare、Docker 及其他产品或公司名称均为其各自所有者的商标。

搜索选项

Mon, 01 Jan 0001 00:00:00 +0000

搜索选项通过 PostgreSQL GUC 参数进行指定。

`ivf` 选项

以下选项仅对 IVF 算法生效。详情请参阅索引指南。

选项	类型	取值范围	默认值	说明
vectors.ivf_nprobe	integer	`[1, 1_000_000]`	`10`	扫描的列表数量。

`hnsw` 选项

以下选项仅对 HNSW 算法生效。详情请参阅索引指南。

图索引

Mon, 01 Jan 0001 00:00:00 +0000

since v0.5.0

VectorChord 的索引类型 vchordg 是一种基于磁盘的图索引，具有低内存占用的特点。

我们首先创建一个名为 items 的表，其中包含一个类型为 vector(n) 的 embedding 列，然后向其中填充示例数据。

以图搜图与智能图像搜索

Mon, 01 Jan 0001 00:00:00 +0000

智能图像搜索，又称基于内容的图像检索（Content-Based Image Retrieval），超越了传统的基于关键词的搜索方式，使用户能够根据图像的视觉内容搜索图像。例如，您可以直接搜索包含红蘑菇的图片（图片来自 immich）：

稀疏向量：`svector`

Mon, 01 Jan 0001 00:00:00 +0000

since v0.3.0

与稠密向量不同，稀疏向量（Sparse Vector）通常具有非常高的维度，但其中只包含极少数的非零值。

通常情况下，稀疏向量可以由以下方式生成：

性能与精度基准测试

Mon, 01 Jan 0001 00:00:00 +0000

吞吐量基准测试（QPS 对比 Elasticsearch、Lucene、ParadeDB、PG GIN）

凭借结合 128 文档差分位打包块与单字节 Fieldnorm 量化的 Block-WeakAnd 算法实现，VectorChord-BM25 在 Top-10 排序查询上的 QPS 吞吐量最高可达基于 Tantivy 的 PostgreSQL 扩展（ParadeDB / pg_search）的 3 倍，并比 PostgreSQL 原生 GIN 索引高出一个数量级：

版本历史与 API 演进

Mon, 01 Jan 0001 00:00:00 +0000

本页记录 vchord_bm25（pgsty/vchord_bm25 / supervc-stack/VectorChord-bm25）的版本发布历史与 SQL 模式演进。

版本演进总览矩阵

版本	所属模式	索引列类型	分词方案	核心新增特性
`main`（新一代架构）	扩展所在模式	`tsvector`	原生 `to_tsvector`（或自定义）	基于原生 `tsvector` 完全重写存储与索引引擎；支持外部排序并行构建（`ambuild`）；引入索引级存储参数（`options`、`limit`、`prefilter`）；引入 `bm25.*` GUC 参数；支持 PostgreSQL 18。
`v0.3.0`	`bm25_catalog`	`bm25vector`	`pg_tokenizer`	新增 `bm25_page_inspect(regclass, int)` 函数、`to_bm25query(regclass, int[])` 重载，以及 PostgreSQL 18 兼容性支持。
`v0.2.2`	`bm25_catalog`	`bm25vector`	`pg_tokenizer`	新增 `bm25_catalog.enable_prefilter` GUC 参数，支持带 `WHERE` 子句的精确过滤 Top-K BM25 检索。
`v0.2.1`	`bm25_catalog`	`bm25vector`	`pg_tokenizer`	修复增长段（Growing）向封闭段（Sealed）转换以及 VACUUM 清理过程中的若干缺陷。
`v0.2.0`	`bm25_catalog`	`bm25vector`	`pg_tokenizer`	为 `bm25vector` 新增 `=` 与 `<>` 相等性操作符，以及隐式类型转换 `CREATE CAST (int[] AS bm25vector) AS IMPLICIT`。
`v0.1.1`	`bm25_catalog`	`bm25vector`	`pg_tokenizer`	将分词能力解耦为独立的 `pg_tokenizer` 扩展；调整 `to_bm25query(regclass, bm25vector)` 函数签名。
`v0.1.0`	`bm25_catalog`	`bm25vector`	内置 `unicode`	首个发布版本，提供 `bm25vector`、`bm25query`、`USING bm25` 及 Block-WeakAnd Top-K 扫描。

各版本升级变更详解

`v0.3.0`（`sql/vchord_bm25--0.2.2--0.3.0.sql`）

新增页面诊断函数：

CREATE FUNCTION bm25_page_inspect(index regclass, blkno INT) RETURNS TEXT;

在 main / 0.3.x 后期版本中新增了直接接受 int[] 的便捷重载 to_bm25query(regclass, int[])。

`v0.2.2`（`sql/vchord_bm25--0.2.1--0.2.2.sql`）

在 Block-WeakAnd 中新增预过滤支持（bm25_catalog.enable_prefilter GUC 参数，在 0.3.0 中默认启用）。
改进索引扫描期间的 MVCC 可见性检查，防止死元组（Dead Tuples）或被过滤元组污染 Top-K 剪枝阈值。

`v0.2.0`（`sql/vchord_bm25--0.1.1--0.2.0.sql`）

为 bm25vector 新增 = 与 <> 操作符。
新增从 int[] 到 bm25vector 的隐式类型转换（_vchord_bm25_cast_array_to_bm25vector），允许将 tokenize(text, name) 的输出（INT[]）直接赋值给 bm25vector 列或传入任何接受 bm25vector 的位置。

`v0.1.1`（`sql/vchord_bm25--0.1.0--0.1.1.sql`）

将原本内置的 create_tokenizer / tokenize 函数抽离为独立的 pg_tokenizer 扩展（tokenizer_catalog），从而支持丰富的文本分析器、Snowball 词干提取、停用词、同义词、HuggingFace 模型、jieba 中文分词与 lindera 日文分词。
简化 to_bm25query(index_oid regclass, query_vector bm25vector) 签名，直接接受 bm25vector 参数。

新一代架构重写（`main` 分支）

用 PostgreSQL 原生 tsvector 替代自定义 bm25vector 类型（CREATE OPERATOR CLASS bm25_ops FOR TYPE tsvector USING bm25），允许用户直接使用 USING bm25 为 to_tsvector(...) 列建立索引。
新增基于外部归并排序（External Merge Sort）的并行索引构建（bm25_parallel_build_main），保证恒定的维护内存消耗。
支持通过 WITH (options = $$ k1 = 1.2, b = 0.75 $$) 配置索引级 BM25 超参数（ $k_1 \in [1.2, 2.0]$ ， $b \in [0.0, 1.0]$ ）。

与 Elasticsearch 的基准测试对比

Mon, 01 Jan 0001 00:00:00 +0000

本文展示了我们将 VectorChord-BM25 实现与 Elasticsearch 进行全面对比的基准测试结果，重点考察两个核心指标：QPS（每秒查询数）与 NDCG@10（前 10 位结果的归一化折损累计增益）。如果您对我们的技术实现细节感兴趣，请参阅我们的博文《VectorChord-BM25：以比 Elasticsearch 快 3 倍的 BM25 排序彻底革新 PostgreSQL 搜索》。

多语言分词配方与限制

Mon, 01 Jan 0001 00:00:00 +0000

本页提供可直接用于生产环境的英文、中文和日文全文 BM25 检索分词配置配方，并列出在实际运维中需要注意的关键限制事项。

配方一：带词干提取与停用词过滤的英文检索（`wiki_tocken`）

将 Unicode 词边界切分、NLTK 停用词过滤、Porter2 词干提取与内置维基百科词表（wiki_tocken）结合使用：

多租户架构

Mon, 01 Jan 0001 00:00:00 +0000

多租户（Multi-tenancy）对于 SaaS 应用至关重要，它允许单个数据库实例同时服务多个用户或团队，同时确保数据隐私与隔离安全。本文将介绍如何使用 pgvecto.rs 设计并实现一个简洁的多租户向量搜索系统。

二值向量：`bvector`

Mon, 01 Jan 0001 00:00:00 +0000

since v0.3.0

bvector 类型是 pgvecto.rs 中的二值向量（Binary Vector）类型。在二值向量中，每个分量只能取两个可能的值（通常为 0 和 1）。

以下是创建包含 bvector 列的表并插入数据的示例：

混合检索 (BM25 + VectorChord)

Mon, 01 Jan 0001 00:00:00 +0000

现代检索增强生成（RAG）与搜索流水线通常将稠密向量检索（vchord，擅长捕捉语义相似性）与稀疏词法 BM25 检索（vchord_bm25，擅长捕捉精确关键词、标识符与罕见词匹配）结合使用。由于这两个扩展均原生运行在 PostgreSQL 内部，你可以在单条 SQL 查询中端到端执行混合检索，无需任何外部编排服务。

基准测试

Mon, 01 Jan 0001 00:00:00 +0000

pgvecto.rs 从诞生之初就高度专注于性能。我们持续监控 pgvecto.rs 的性能表现，并与其他向量检索库进行对比测试。以下基准测试结果来自 2024 年 1 月。

测试在 Google Cloud n2-standard-8（8 vCPU，32 GB 内存）实例上进行，使用 laion-768-5m-ip 数据集。

量化

Mon, 01 Jan 0001 00:00:00 +0000

量化（Quantization）是一种在可接受的精度损失范围内，降低内存消耗和计算复杂度的技术。在向量搜索中，主要有两种量化方式：乘积量化（Product Quantization）和标量量化（Scalar Quantization）。

量化类型

Mon, 01 Jan 0001 00:00:00 +0000

since v1.1.0

量化不仅可以应用于索引，还可以直接应用于向量本身。为此，VectorChord 提供了专门用于量化向量的数据类型。

rabitq8 是量化向量的数据类型。在相同维度下，它的存储开销约为全精度向量（vector）的 $\frac{1}{4}$ ，半精度向量（halfvec）的 $\frac{1}{2}$ 。该类型以其所使用的量化算法命名。¹

权限与授权

Mon, 01 Jan 0001 00:00:00 +0000

与 VectorChord Cloud 集群上的基于角色的访问控制（RBAC）相关的主题。

用户角色

我们为项目提供两种类型的用户角色：Owner（所有者）和 Member（成员）。

外部数据包装器 (FDW)

Mon, 01 Jan 0001 00:00:00 +0000

外部数据包装器（Foreign Data Wrapper，简称 FDW）是 PostgreSQL 中的一项扩展，允许你像操作本地表一样访问和查询存储在远程数据库中的数据。FDW 提供了一种与不同数据源集成和交互的标准方式。

BM25 与 Block-WeakAnd 内部原理

Mon, 01 Jan 0001 00:00:00 +0000

本页详细介绍 vchord_bm25（位于 crates/bm25/src/bm25.rs 与 src/algorithm/block_wand.rs）中实现的精确评分公式与底层数据结构。

1. Okapi BM25 评分公式

给定一篇文档 $D$ 和一个查询 $Q = \{q_1, q_2, \dots, q_m\}$ ，其中查询词频为 $c(q_i, Q)$ ，文档内词频为 $f(q_i, D)$ ，vchord_bm25 按如下公式计算相关性得分：

Kubernetes

Mon, 01 Jan 0001 00:00:00 +0000

如果你想在运行于 Kubernetes 上的 PostgreSQL 中使用 pgvecto.rs，可以参考本教程。在本教程中，我们将使用 CloudNative-PG 在 Kubernetes 中部署 PostgreSQL 集群。

环境要求

组件名称	版本要求
helm	>= 2.4.1
kubectl	>= 1.14
Kubernetes	>= 1.24.0

安装 CloudNative-PG

我们使用 CloudNative-PG (cnpg) 在 Kubernetes 中部署 PostgreSQL 集群。你可以通过 Helm 安装它：

备份与恢复

Mon, 01 Jan 0001 00:00:00 +0000

数据库备份是任何灾难恢复计划中不可或缺的一部分。灾难的形式多种多样，可能小到不小心误删了表中的一列、数据库崩溃，甚至大到自然灾害彻底损毁了数据库所运行的底层硬件。这些场景带来的风险和影响永远无法完全消除，只能尽可能降低或缓解。拥有数据库备份就像购买了一份保险：它们本质上是数据库在不同时间点的快照。当灾难来临时，数据库备份能够将项目恢复到这些时间点中的任意一个，从而化解危机。

与 pgvectorscale 的基准测试对比

Mon, 01 Jan 0001 00:00:00 +0000

在本节中，我们将 VectorChord 与提供向量相似性检索能力的 PostgreSQL 扩展 pgvectorscale 进行对比。我们将重点关注四个核心指标：QPS（每秒查询数）、Recall@10/100、索引构建时间（Index Building Time）以及数据插入时间（Insertion Time），并同时探讨内存与磁盘场景下的性能表现。如果您对我们的实现细节感兴趣，请参阅我们的博文《PostgreSQL 上的向量检索：内存与磁盘方案的对比分析》。

`pgvector` 兼容性

Mon, 01 Jan 0001 00:00:00 +0000

pgvecto.rs 在以下方面原生兼容 pgvector：

CREATE TABLE 命令，例如 CREATE TABLE t (val vector(3))
INSERT INTO 命令，例如 INSERT INTO t (val) VALUES ('[0.6,0.6,0.6]')

pgvecto.rs 还可以通过配置兼容 pgvector 的以下语法：

索引选项，允许通过 USING hnsw (val vector_ip_ops) 创建索引
查询选项，支持通过 SET ivfflat.probes = 10 设置参数

该特性称为 pgvector 兼容模式，可通过 SET vectors.pgvector_compatibility = on 启用。

稀疏向量搜索

Mon, 01 Jan 0001 00:00:00 +0000

过去，混合搜索（Hybrid Search）通常将传统的基于关键词的搜索与基于向量的相似度搜索结合在一起。然而，稀疏向量（Sparse Vector）可以作为关键词搜索的替代方案，通过纯向量搜索充分释放数据流水线的全部潜力。

相似度过滤

Mon, 01 Jan 0001 00:00:00 +0000

通常，我们会使用 ORDER BY 和 LIMIT 子句来执行向量搜索。但在某些情况下，您可能希望使用 WHERE 子句过滤掉距离查询向量太远的向量。很自然地，您可能会写出如下 SQL：

EXPLAIN (COSTS FALSE) 
SELECT * FROM items WHERE embedding <-> '[0, 0, 0]' < 0.1 ORDER BY embedding <-> '[0, 0, 0]' LIMIT 10;
                                  QUERY PLAN                                   
-------------------------------------------------------------------------------
 Limit
   ->  Index Scan using items_embedding_idx on items
         Order By: (embedding <-> '[0,0,0]'::vector)
         Filter: ((embedding <-> '[0,0,0]'::vector) < '0.1'::double precision)

返回的结果虽然符合预期，但这种写法的性能却很差。这是因为如果落在距离阈值内的向量少于 $10$ 个，PostgreSQL 会强制索引继续搜索以凑够 $10$ 条结果，从而遍历耗尽整个搜索空间。

PostgreSQL 调优

Mon, 01 Jan 0001 00:00:00 +0000

索引构建可以并行化执行。由于并行化会增加服务器负载，PostgreSQL 默认并未启用。如需启用并行构建，请参考以下 SQL 配置：

-- 设置数据库集群可支持的最大后台进程数。
-- 建议将其设置为至少等于您期望的并行度加上 8。
-- 例如，如果您希望使用 16 个线程进行并行处理，请将该值至少设置为 24。
-- 根据您的实际工作负载，将该值设置得更高可能会更有帮助。
-- 注意：此设置需要重启数据库才能生效。
ALTER SYSTEM SET max_worker_processes = 24;

-- 设置数据库集群可用于并行操作的最大工作进程数。
-- 建议将其设置为您期望的并行度减 1。
-- 例如，如果您希望使用 16 个线程进行并行处理，请将该值设置为 15。
SET max_parallel_workers = 15;

-- 设置单个维护命令（如 CREATE INDEX）可启动的最大并行工作进程数。
-- 建议将其设置为您期望的并行度减 1。
-- 例如，如果您希望使用 16 个线程进行并行处理，请将该值设置为 15。
SET max_parallel_maintenance_workers = 15;

并行工作进程的数量还取决于表本身的配置。默认情况下，该值由 PostgreSQL 自动计算决定。如果 PostgreSQL 判定不启用并行，那么并行索引构建就不会生效。您可以通过调整表的 parallel_workers 存储参数来覆盖 PostgreSQL 的默认行为，强制启用并行索引构建。

迁移指南

Mon, 01 Jan 0001 00:00:00 +0000

PGVecto.rs 迁移概览

从 pgvector 迁移

前置条件

从 pgvector 迁移到 PGVecto.rs 时，你通常已经有一张包含 vector 类型列的表。例如：

升级集群

Mon, 01 Jan 0001 00:00:00 +0000

您可能需要升级集群且不希望丢失任何数据。您可以升级 CPU、内存等服务器资源，也可以仅扩容存储空间。以下章节将引导您完成集群升级流程。

扩容服务器资源

如果您想扩容 CPU 和内存等服务器资源，集群状态必须处于 Ready。在集群详情页面点击 Upgrade 按钮。

生成式问答（Generative QA）

Mon, 01 Jan 0001 00:00:00 +0000

向量搜索还可以用于为生成式模型（例如 OpenAI 的 GPT 系列）提供上下文，从而提升模型输出的质量。

本文将探讨如何使用 pgvecto.rs 构建向量知识库并从中检索信息，以增强生成式模型在问答（Question-Answering, QA）任务中的表现。知识库充当了生成式模型的“长期记忆”，为其提供持久化、经过整理且准确的信息作为上下文（Context），供模型在生成问题答案时参考。这样不仅能生成更准确的回答，减少模型产生“幻觉”（毫无事实依据的陈述）的可能性，还能增强用户对输出结果的信任。这项技术被称为检索增强生成（Retrieval-Augmented Generation，简称 RAG）：更多信息请参阅这篇博文或相关论文。

API 密钥

Mon, 01 Jan 0001 00:00:00 +0000

在 VectorChord Cloud 中，每个项目都提供一组 API 密钥（API Key）。这些密钥是发起 Terraform 操作所必需的身份认证令牌。

基于角色的访问控制（RBAC）

基于角色的访问控制（RBAC）是 VectorChord Cloud 中一项至关重要的安全机制，适用于管理 API 调用。该系统通过为项目内的用户分配具有特定权限的角色，实现对资源的细粒度访问控制。

监控

Mon, 01 Jan 0001 00:00:00 +0000

您可以通过查询 pg_stat_progress_create_index 视图来监控 PostgreSQL 索引的构建进度。

SELECT command, phase, round(100.0 * blocks_done / nullif(blocks_total, 0), 1) AS "%" FROM pg_stat_progress_create_index;

参考

构建阶段（`vchordrq`）

vchordrq

vchordrq 的索引构建过程包含 5 个步骤，每个步骤的阶段名称（phase）如下：

VectorChord Cloud 的 Terraform 集成概览

Mon, 01 Jan 0001 00:00:00 +0000

本指南将带您逐步完成 PGVecto.rs Cloud Provider 的安装与配置。

1. 前置准备

在开始之前，请确保您已准备好以下内容：

已安装 Terraform：请访问此处并按照说明下载和安装 Terraform。
VectorChord Cloud 账户：您需要拥有 VectorChord Cloud 的访问权限以及 API 密钥。请前往 VectorChord Cloud 控制台并创建 API 密钥。该 API 密钥必须具有 ProjectOwner 权限。有关更多信息，请参阅 API 密钥。

回退参数

Mon, 01 Jan 0001 00:00:00 +0000

since v1.1.0

搜索参数通常通过 GUC 进行配置。VectorChord 还提供了另一种方式，允许将这些参数直接绑定到索引上，而不是绑定到会话（session）或事务（transaction）上。换句话说，您可以将它们作为索引存储参数（storage parameters）的一部分保存下来。

可用区域

Mon, 01 Jan 0001 00:00:00 +0000

部署到指定区域

在 VectorChord Cloud 中，您可以将集群部署到不同的区域（Region）。创建集群时，使用下拉选择器选择目标区域即可。

提示

没有看到您需要的区域或云厂商？请通过 Discord 联系我们，我们很乐意为您提供帮助。

评估召回率

Mon, 01 Jan 0001 00:00:00 +0000

since v0.5.0

在向量搜索中，召回率（recall）是指索引返回的近似最近邻中真实最近邻所占的比例。例如，如果索引检索出 $100$ 个近似最近邻，其中有 $97$ 个属于真实最近邻，那么召回率就是 $\frac{97}{100} = 0.97$ 。

工作流

Mon, 01 Jan 0001 00:00:00 +0000

概览

工作流（Workflow）是一项允许您使用预定义函数完成特定任务的功能。例如，您可以使用 ExternalBuildIndex 工作流在集群外部为您的 Postgres 集群构建索引。使用工作流具有以下优势：

预热

Mon, 01 Jan 0001 00:00:00 +0000

PostgreSQL 启动后，表和索引只有在首次被访问时才会从存储加载到缓冲池（buffer pool）中。随着查询的不断执行，索引中被频繁访问的部分会自然地缓存在缓冲池里。然而，在执行最初的几批查询时，由于缓冲池为空，查询速度往往较慢。

预过滤

Mon, 01 Jan 0001 00:00:00 +0000

since v0.4.0

在带过滤条件的索引扫描中，通常索引会先执行扫描，然后由 PostgreSQL 检查返回行是否满足过滤条件。在本页中，“过滤条件（filter）”是指 PostgreSQL 查询计划中索引扫描节点上的 Filter，它通常由 SQL 语句中的 WHERE 子句构造而成，并且不需要具备特定的形式。

预取

Mon, 01 Jan 0001 00:00:00 +0000

since v0.4.0

预取（Prefetch）能够大幅加速涉及 I/O 操作的查询。它的工作原理是根据索引的实际访问需求，主动将缓冲区预读到操作系统页缓存（page cache）或 PostgreSQL 的缓冲池（buffer pool）中。

表内重排序

Mon, 01 Jan 0001 00:00:00 +0000

since v0.2.1

PostgreSQL 索引会存储行标识符（row identifier）以及被索引列的值。通常情况下，被索引的列具有简单的数据类型，例如整数或长度有限的短字符串。

分区调优

Mon, 01 Jan 0001 00:00:00 +0000

对于大表而言，分区阶段主导了整个索引构建的时间与内存消耗。

分区阶段的时间复杂度为 $O(FC^{2}DL)$ ，内存消耗（以字节为单位）可以近似表示为 $4DC(F + T + 1)$ ，

其中：

$D$ 是向量维度（如果设置了 build.internal.kmeans_dimension，则为该参数的值）。
$F$ 是 build.internal.sampling_factor。
$C$ 是 build.internal.lists[-1]。
$T$ 是 build.internal.build_threads。
$L$ 是 build.internal.kmeans_iterations。

本页介绍几种用于优化构建时间和内存消耗的调优技巧。

外部构建

Mon, 01 Jan 0001 00:00:00 +0000

除了使用分区调优中的方法（以牺牲一定 QPS 和召回率为代价来缩短构建时间并降低内存消耗）之外，您还可以选择在其他机器或 GPU 上离线运行分区阶段。由于 vchordg 没有分区阶段，因此该特性不支持 vchordg。

页面未找到

Mon, 01 Jan 0001 00:00:00 +0000

您访问的页面可能已被移动、删除或不存在。请使用顶部搜索栏（⌘K）或返回 VectorChord 文档首页。

VectorChord 1.1：原生 4/8 比特向量类型与每索引查询默认值

Sat, 14 Feb 2026 00:00:00 +0000

值此马年新春开启之际，我们非常高兴地宣布发布 VectorChord 1.1。

VectorChord 1.0 是 Postgres 原生向量搜索的一个重要里程碑：它让大规模索引构建变得足够快，感觉就像日常迭代而非停机维护。在 1.1 版本中，我们在此基础上更进一步，推出了 RaBitQ8：这是一种全新的向量类型，相比 float32 可节省 4 倍存储空间并提供更快的搜索速度，同时召回率损失不到 1%。配合 RaBitQ4 以及更具可组合性的查询控制能力，VectorChord 1.1 已准备好应对你最严苛的生产工作负载。

在 PostgreSQL 上将向量搜索扩展至 10 亿规模

Thu, 15 Jan 2026 00:00:00 +0000

对于希望自行部署十亿级规模向量搜索的团队而言，真正的挑战往往不在于原始性能，而在于实用性。许多专为十亿级规模、低延迟向量搜索而设计的解决方案都伴随着诸多现实约束，需要在各种权衡中做出妥协，从而影响了落地的难易程度。

VectorChord 1.0：Postgres 上开发者优先的向量搜索，索引速度比 pgvector 快 100 倍

Thu, 04 Dec 2025 00:00:00 +0000

两年前，当我们发布第一篇 pgvecto.rs 博客文章时，我们下了一个赌注：Postgres 是进行向量搜索的最佳场所。从那时起，我们一直围绕这个信念持续迭代——从支持过滤向量搜索的 VBASE，到更长维度的向量支持，再到 RaBitQ 量化方案以及对磁盘友好的索引布局。

我们如何在 PostgreSQL 上实现 20 分钟构建 1 亿向量索引

Wed, 03 Dec 2025 00:00:00 +0000

1. 引言

在过去几个月里，我们收到了来自用户和合作伙伴的一致反馈：尽管我们提供可扩展、高性能 pgvector 替代方案的目标广受好评，但在十亿级规模下，索引构建时间和内存占用仍然是大家关注的主要痛点。

VectorChord 0.5：全新的 RaBitQ 赋能 DiskANN 索引与持续召回率评估

Fri, 26 Sep 2025 00:00:00 +0000

我们非常激动地宣布发布 VectorChord 0.5！此次发布标志着我们在提供更灵活、更强大、更可控的向量搜索能力这一使命上迈出了重要一步。在 0.5 版本中，我们引入了两项重大更新：对 DiskANN 图索引的实验性支持，以及全新的用于主动监控 IVF+RaBitQ 索引健康状况的召回率评估工具。

借助 VectorChord-BM25 将搜索引擎级排序引入 PostgreSQL

Tue, 12 Aug 2025 00:00:00 +0000

现代应用普遍依赖 PostgreSQL 完全符合 ACID 的事务特性、表达力丰富的 SQL 以及繁荣的扩展生态系统。虽然 PostgreSQL 在处理关系型负载方面表现得无与伦比，但许多项目同样需要在庞大的文本集合（如商品描述、客服工单、技术文档）中进行搜索，并将最相关的行优先呈现给用户。PostgreSQL 的原生工具为此提供了一定基础，但其默认的排序逻辑往往会让最理想的匹配结果被淹没在不太有用的结果之下。VectorChord‑BM25 通过将 BM25 相关性评分算法直接引入 PostgreSQL，彻底改变了这一局面。

VectorChord 0.4：凭借高级 I/O 与预过滤实现更快的 PostgreSQL 向量搜索

Thu, 05 Jun 2025 00:00:00 +0000

我们很高兴地宣布发布 VectorChord 0.4，这是一次全面增强 PostgreSQL 高性能向量搜索能力的重要更新。我们相信，此次发布进一步拓展了 PostgreSQL 向量搜索的能力边界，引入了多项关键架构改进，旨在为严苛的真实业务负载降低延迟并提升吞吐量。

VectorChord：在 AWS 上高性价比地上传与搜索 4 亿向量

Fri, 30 May 2025 00:00:00 +0000

在本文中，我们将介绍一种利用真实世界的 LAION-400M 数据集和 PostgreSQL 中的 VectorChord 扩展，以高性价比方式上传、构建索引并搜索大规模向量数据的方法。

我们将向您展示需要什么样的硬件配置，才能使用 VectorChord 在这一海量数据集上进行搜索，并确保您获得既准确又快速的搜索体验。

在 PostgreSQL 中利用上下文检索优化 RAG

Fri, 30 May 2025 00:00:00 +0000

在标准的检索增强生成（RAG）方案中，一种常见做法是将长篇文档切分为更小、更易于管理的文本块（chunk）。这样做主要是为了结合句子嵌入（sentence embedding）与关键词 BM25 评分来提升检索效率，使系统能够快速定位并提取出相关的信息片段。虽然这种方法在许多场景下行之有效，但它也带来了一个显著的挑战：单个文本块很可能会丢失其原本所处的上下文语境。

一站式 VectorChord 套件：直接在 PostgreSQL 中构建生产就绪的 RAG 解决方案

Tue, 29 Apr 2025 00:00:00 +0000

检索增强生成（Retrieval-Augmented Generation, RAG）正在彻底改变我们与海量数据集及语言模型的交互方式。通过在生成回答之前先检索相关信息，RAG 系统能够提供更准确、更具上下文感知能力且实时更新的答案。然而，构建稳健、可扩展且高效的 RAG 流水线依然面临诸多挑战，在生产环境中更是如此。

推出 Vechord：以 Pythonic 的方式将 PostgreSQL 打造成你的搜索引擎

Wed, 23 Apr 2025 00:00:00 +0000

今天，我们非常激动地宣布发布 Vechord——一个全新的 Python 库，旨在大幅简化直接在 PostgreSQL 数据库之上构建稳健搜索基础设施的流程。

在人工智能与大语言模型（LLM）飞速发展的今天，检索增强生成（RAG）和语义搜索已成为不可或缺的核心组件。然而，搭建所需的向量搜索基础设施往往意味着学习全新的数据库技术、管理复杂的系统集成，或是与繁琐的框架搏斗。这不仅增加了研发摩擦，还会拖慢开发进度，对于已经熟悉 PostgreSQL 的团队而言尤为如此。

超越文本：使用 Modal 与 VectorChord 在 PostgreSQL 中解锁免 OCR 的 RAG

Tue, 15 Apr 2025 00:00:00 +0000

为文档构建高效的检索增强生成（RAG）系统，往往让人感觉像是在与杂乱复杂的流水线搏斗。尤其是在处理 PDF 或扫描图像时，传统方法高度依赖光学字符识别（OCR）和版面分析。这些步骤不仅耗时、容易出错，而且经常会丢失表格、图表和排版格式等至关重要的视觉上下文信息。但如果可以直接根据文档的“视觉外观”进行查询，而不仅仅依赖提取出来的纯文本呢？

VectorChord 0.3：在 PostgreSQL 中实现高效的多向量上下文晚期交互

Sun, 13 Apr 2025 00:00:00 +0000

我们非常激动地宣布发布 VectorChord 0.3！这一重要里程碑直接在你的 Postgres 数据库内部显著提升了高级向量搜索技术的性能与适用性。在带来 ARM 支持与更快索引构建的 0.2 版本基础上，0.3 版本攻克了现代检索领域的最大难关之一：具备晚期交互（Late Interaction）能力的高效多向量搜索。

在 PostgreSQL 中用 30 亿向量守护地球

Tue, 08 Apr 2025 00:00:00 +0000

监测地球的健康状况是我们这个时代最严峻的挑战之一。我们的星球正面临巨大的环境压力，而要理解这些变化，就必须筛选超乎想象的海量卫星数据——持续不断捕获的 PB 级像素图像。从追踪亚马逊雨林的森林砍伐，到识别偏远地区的非法采矿作业，再到监测农业活动对敏感生态系统的影响，将这些原始数据转化为可落地的行动情报至关重要。

PostgreSQL 向量搜索：内存与磁盘方案对比分析

Thu, 03 Apr 2025 00:00:00 +0000

引言：真实场景中的挑战

并非所有场景都需要专用的向量数据库。借助 pgvector、pgvectorscale、VectorChord（演进自 pgvecto.rs）等 PostgreSQL 扩展，您可以在无需额外基础设施的情况下同时获得向量搜索与关系型数据库的能力。但实际落地并非总是顺风顺水，以下是真实用户的反馈：

PostgreSQL 全文检索：用对方法其实很快（打破“慢”的迷思）

Wed, 02 Apr 2025 00:00:00 +0000

你可能在一些技术讨论或博客文章中看到过这样的观点：与专用搜索引擎或特定扩展相比，PostgreSQL 内置的全文检索（Full-Text Search，简称 FTS）在性能上表现不佳。近期一个典型的例子是 Neon 发布的博客文章《Performance Benchmark: pg_search on Neon》（链接）。

VectorChord-BM25：推出独立的多语言高级搜索分词器 pg_tokenizer

Wed, 02 Apr 2025 00:00:00 +0000

我们很高兴地宣布发布 VectorChord-BM25 0.2 版本！这款 PostgreSQL 扩展旨在将先进的基于 BM25 的全文检索排序能力直接引入您的数据库中。

借助 VectorChord-BM25，您无需依赖外部搜索引擎，即可直接利用信息检索领域的标准算法——BM25 的强大能力。本次发布迈出了重要一步，重点强化了核心文本处理组件：分词（tokenization），从而带来了更高的灵活性以及显著提升的多语言支持能力。

基于 Postgres 原生 BM25 与 VectorChord 的混合搜索

Thu, 13 Mar 2025 00:00:00 +0000

在 RAG（检索增强生成）时代，如何从海量数据集中高效检索相关数据，对企业和开发者而言至关重要。传统的基于关键词的检索方法（例如使用 BM25 作为评分机制的方法）擅长根据词频和精确关键词匹配对文档进行排序，因此对于结构化查询和关键词密集型内容非常有效。然而，它们在理解同义词、上下文细微差别和语义意图方面往往力不从心。相反，基于向量的检索能够捕捉深层语义，在多样化查询上具备更好的泛化能力，但有时会在精确关键词匹配上牺牲准确性。混合搜索（Hybrid Search）通过将 BM25 的精确性与向量搜索的上下文理解能力相结合，弥合了这一差距，从而提供更快、更准确且具备语义感知的检索结果。

使用 VectorChord 在 PostgreSQL 中实现 10,000 QPS 的向量搜索

Thu, 27 Feb 2025 00:00:00 +0000

VectorChord 是一款专为可扩展、高性能且磁盘友好的向量相似度搜索而设计的 PostgreSQL 扩展，也是 pgvecto.rs 的继任者。在我们之前的博客文章中，我们展示了仅需每月 $250 的成本，VectorChord 就能在 1 亿规模的向量数据集上以 0.95 的精度实现 131 QPS——展现了大规模向量搜索中令人印象深刻的高性价比。

VectorChord-BM25：用 BM25 排序彻底革新 PostgreSQL 搜索——速度比 ElasticSearch 快 3 倍

Mon, 24 Feb 2025 00:00:00 +0000

我们非常高兴与大家分享一款重磅新作：VectorChord-BM25，这是一款旨在让 PostgreSQL 全文检索更上一层楼的全新扩展。无论您是在构建小型应用还是管理大规模系统，这款工具都能将先进的 BM25 评分与排序能力直接引入 PostgreSQL，让您的搜索更智能、更迅速。

我们真的需要专门的向量数据库吗？(2023)

Tue, 18 Feb 2025 00:00:00 +0000

注：本文最初发表于 2023 年，探讨了专用向量数据库的适用性与必要性，特别是它与 Postgres 及其能力之间的关系。如需了解关于此话题的更多见解与讨论，请参阅以下链接：Do we really need a specialized vector database? | Hacker News。

VectorChord 0.2：支持 60,000 维向量，ARM 架构下索引速度提升 50%

Mon, 17 Feb 2025 00:00:00 +0000

今天，我们非常激动地向大家分享 VectorChord 0.2——这是一个凝聚了社区反馈、旨在应对 PostgreSQL 向量搜索不断演进的挑战而打造的新版本。

%[https://github.com/tensorchord/VectorChord/]

优化存储布局：支持高达 60,000 维向量

在 PostgreSQL 中，基础存储单元是 8KB 的数据页（Page）。虽然这种设计对于大多数常规负载非常稳健，但它也给高维向量搜索等现代应用场景带来了限制。例如，受限于固定的页面大小，pgvector 每个向量的维度硬性上限为 2000 维，因为更大的向量无法在单个页面内建立索引。

在 PostgreSQL 中使用 ColBERT 重排序为向量搜索赋能

Thu, 23 Jan 2025 00:00:00 +0000

传统的向量搜索方法通常采用句子级嵌入（sentence embeddings）来定位相似内容。然而，通过对词元嵌入（token embeddings）进行池化来生成句子嵌入，可能会牺牲词元级别所蕴含的细粒度细节。ColBERT 通过将文本表示为词元级多向量（multi-vectors）而非单个聚合向量，克服了这一局限。这种方法利用词元级的上下文后期交互（contextual late interaction），使 ColBERT 相比仅依赖句子嵌入的方法能够保留更微妙的语义信息，并提高搜索准确度。

ARM + VectorChord：高性价比的快速向量搜索

Tue, 21 Jan 2025 00:00:00 +0000

ARM64 正悄然成为高性价比云服务器的首选架构，尤其是在 AWS 上。借助 Graviton 系列（Graviton3 和 Graviton4）等基于 ARM 的处理器，你可以在不牺牲性能的前提下节省一大笔开销。这些 ARM64 实例比传统的 x86 实例实惠得多，是在云端平衡成本与性能的可靠选择。

为什么 HNSW 不是终极答案

Wed, 18 Dec 2024 00:00:00 +0000

HNSW（Hierarchical Navigable Small World，分层可导航小世界图）已成为众多向量数据库的首选算法。其多层图结构以及高效导航向量嵌入的能力使其格外具有吸引力。然而，尽管拥有诸多显著优势，对于大规模且动态变化的向量相似度搜索而言，HNSW 可能并非最优解。在本文中，我们将挑战 HNSW 的主导地位，并探讨为什么基于磁盘的替代方案——例如 IVF（Inverted File Index，倒排文件索引）——在面对海量数据集时更具实用价值。

VectorChord 外部聚类中心构建的优势与操作步骤

Tue, 10 Dec 2024 00:00:00 +0000

聚类（Clustering）是向量搜索中的重要组成部分，而 K-means 算法依然是目前应用最广泛的技术之一。然而，它的简洁性也伴随着一个显著的缺点：密集的计算资源消耗使其在处理大规模数据集时往往力不从心。本文将探讨这一挑战产生的原因，并介绍如何利用外部构建（External Builds）来克服它，同时分享我们在实现这一方案过程中的技术洞察。

VectorChord：在 PostgreSQL 中仅花 $1 存储 40 万向量

Thu, 05 Dec 2024 00:00:00 +0000

我们很高兴地宣布推出全新的 PostgreSQL 向量搜索扩展，为大规模向量管理提供极具性价比的解决方案。使用 VectorChord，您可以在 1 亿条 768 维向量数据集上执行 Top 10 查询时，以 0.95 的精度实现 131 QPS。整套环境可在单台机器上运行，每月成本仅为 $250。

推出 PGVecto.rs Cloud：PostgreSQL 可扩展向量搜索现已上云

Fri, 02 Aug 2024 00:00:00 +0000

我们非常激动地宣布推出 PGVecto.rs Cloud——将可扩展向量搜索的强大能力带入你的 PostgreSQL 数据库，现已作为全托管云服务正式上线。

PGVecto.rs 是一款开创性的 Postgres 扩展，支持高性能向量搜索，赋能开发者在现有 Postgres 基础设施之上构建先进的相似度检索应用。借助 PGVecto.rs Cloud，你现在无需自行承担管理扩展的运维开销，即可直接释放这项变革性技术的全部潜力。

为 PGVecto.rs Cloud 引入 Terraform 支持

Wed, 24 Jul 2024 00:00:00 +0000

我们非常高兴地宣布发布适用于 PGVecto.rs Cloud 的 Terraform Provider。这一全新 Provider 旨在简化我们云服务上的资源管理流程，让用户能够通过基础设施即代码（IaC）工具 Terraform，以直观、高效的方式管理 Postgres 集群的部署与运维。对于尚不熟悉 Terraform 的读者，它是一款开源工具，用于安全、高效地构建、变更和版本化管理基础设施。它支持用户将基础设施定义为代码，从而以编程方式调配和管理各类资源。

释放稀疏向量的强大潜能

Fri, 05 Jul 2024 00:00:00 +0000

在过去，混合搜索（hybrid search）通常结合两种搜索方式：传统的基于关键词的搜索与基于向量的相似度搜索。然而，稀疏向量（sparse vector）可以作为关键词搜索的替代方案，通过纯向量搜索释放数据流水线的全部潜能。

pg_bestmatch.rs：用 BM25 全面提升 PostgreSQL 文本查询能力

Fri, 14 Jun 2024 00:00:00 +0000

提示

更新提示：欢迎了解我们最新的扩展 VectorChord-BM25，它在 PostgreSQL 中实现了端到端的 BM25 排序。详情请阅读：https://vchord.pgsty.com/zh/blog/post/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch/

%[https://github.com/tensorchord/VectorChord-bm25]

我们非常高兴地宣布发布 pg_bestmatch.rs——一款将 Best Matching 25（BM25）文本查询能力引入 PostgreSQL 数据库的扩展，助你执行更高效、更精准的文本检索。借助该扩展，用户可以根据文本生成 BM25 统计稀疏向量，在数据库中直接发挥 BM25 在各类基准测试任务中久经验证的卓越表现。

我的二值向量搜索比你的 FP32 向量更强

Fri, 22 Mar 2024 00:00:00 +0000

在向量搜索领域，一项引人注目的技术进展正在兴起：二值向量搜索（binary vector search）。这种方法有望通过实现惊人的 30 倍内存缩减，攻克长期存在的内存消耗难题。然而，一个引发广泛讨论的关键问题是：它会对检索精度产生怎样的影响？

2024 年 pgvector vs. pgvecto.rs：PostgreSQL 向量搜索全方位对比

Tue, 19 Mar 2024 00:00:00 +0000

pgvector 和 pgvecto.rs 都是旨在增强 PostgreSQL 向量检索能力的扩展。这些扩展彻底改变了数据库内部执行向量搜索的方式，提供了可扩展、低延迟且支持混合检索的解决方案。在这篇博客文章中，我们将详细阐述 pgvector 与 pgvecto.rs 之间的核心差异。

使用 LlamaIndex 与 pgvecto.rs 构建 RAG 流水线

Fri, 08 Mar 2024 00:00:00 +0000

LlamaIndex 是一个简单、灵活的数据框架，用于将自定义数据源连接到大语言模型（LLM）。

pgvecto.rs 提供了 LlamaIndex 集成，允许你快速检索最相似的向量。在本篇博客中，我们将向你展示如何使用 pgvecto.rs 和 LlamaIndex 构建一套 RAG 流水线。

使用 pgvecto.rs 在 LangChain 中构建大语言模型应用

Fri, 08 Mar 2024 00:00:00 +0000

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使应用程序能够：

具备上下文感知能力：将语言模型连接到各种上下文来源（提示词指令、少样本示例、作为回答依据的业务内容等）。
进行推理：依靠语言模型进行推理（例如如何根据提供的上下文作答、应当采取什么行动等）。

我们真的需要专门的向量数据库吗？

Fri, 08 Mar 2024 00:00:00 +0000

随着大语言模型（LLM）的普及，向量数据库也成为了热门话题。只需寥寥几行简单的 Python 代码，向量数据库就能充当 LLM 廉价却高效的“外挂大脑”。但我们真的需要一个专门的向量数据库吗？

pgvecto.rs 0.2：在 PostgreSQL 中统一关系型查询与向量搜索

Tue, 20 Feb 2024 00:00:00 +0000

我们很高兴地宣布发布 pgvecto.rs 0.2，这是弥合 PostgreSQL 中关系型查询与向量搜索之间鸿沟的重要里程碑。此次更新将两者的强大能力融为一体，不仅提升了执行效率，还支持在 PostgreSQL 内部直接运行复杂的混合查询。

Vchord：可扩展的 PostgreSQL 向量与全文检索家族 on Vchord

Cloud 价格方案

免费套餐

Cloud 限制说明

驾驭 30 亿 PostgreSQL 向量：Earth Genome 的 Earth Index 与 VectorChord 携手守护地球

LangChain

数据库 Schema

数据类型列表

操作符列表

函数列表

类型转换列表

访问方法（Access Methods）列表

操作符族（Operator Families）列表

操作符类（Operator Classes）列表

视图列表

SQL 参考手册

vchord_bm25 数据类型

bm25vector 字面量语法（v0.1 – v0.3）

vchord_bm25 操作符

vchord_bm25 函数

vchord_bm25 访问方法与操作符类

pg_tokenizer 函数（tokenizer_catalog）

半精度向量：`vecf16`

参与贡献 `pgvecto.rs`

常见问答

找不到向量类型或操作符类

分词器架构与基本用法

两阶段分词流水线

云端对象层级结构概览

VectorChord Cloud 账户

概览

概览

什么是 pgvecto.rs

故障排查

连接问题

1. 集群无法访问，请检查以下内容：

基于 Postgres 原生 BM25 与 VectorChord 的混合检索

混合搜索

向量搜索与全文检索

价格基准测试

架构概览

监控指标

存储使用量

开发教程

搭建开发环境

配置

日志配置

迁移指南

outline: [2,3]

VectorChord 迁移概览

从 PGVecto.rs 迁移

使用 psql 连接

索引

索引构建

索引构建与维护

创建 bm25 索引

稳定发布版（v0.1 – v0.3，bm25vector）

新一代 main 分支（tsvector）

绑定信用卡订阅

开源许可证

软件许可证（pgsty/vchord 与 pgsty/vchord_bm25）

注册云账户

注册

8 位整数向量：`veci8`

在 PostgreSQL 中使用 ColBERT 重排序为向量检索加速

GUC 与索引参数

稳定发布版（v0.1.0 – v0.3.0）：bm25_catalog.* GUC 参数

LlamaIndex

安装依赖

与 pgvector 对比

检索能力

安装

Docker

安装指南

方式一：Pigsty / 原生操作系统软件包（推荐）

安装指南

版本升级

通用步骤

采集监控指标

如何获取监控指标

`vchord_bm25` 数据类型

`bm25vector` 字面量语法（`v0.1` – `v0.3`）

`vchord_bm25` 操作符

`vchord_bm25` 函数

`vchord_bm25` 访问方法与操作符类

`pg_tokenizer` 函数（`tokenizer_catalog`）

什么是 `pgvecto.rs`

创建 `bm25` 索引

稳定发布版（`v0.1` – `v0.3`，`bm25vector`）

新一代 `main` 分支（`tsvector`）

软件许可证（`pgsty/vchord` 与 `pgsty/vchord_bm25`）

稳定发布版（`v0.1.0` – `v0.3.0`）：`bm25_catalog.*` GUC 参数

为什么 `to_bm25query` 需要传入索引名称

`segment` 表选项

`optimizing` 表选项

工作流 A：`bm25vector` + `pg_tokenizer`（`v0.1` – `v0.3`）

`ivf` 选项

`hnsw` 选项

`v0.3.0`（`sql/vchord_bm25--0.2.2--0.3.0.sql`）

`v0.2.2`（`sql/vchord_bm25--0.2.1--0.2.2.sql`）

`v0.2.0`（`sql/vchord_bm25--0.1.1--0.2.0.sql`）

`v0.1.1`（`sql/vchord_bm25--0.1.0--0.1.1.sql`）

新一代架构重写（`main` 分支）

配方一：带词干提取与停用词过滤的英文检索（`wiki_tocken`）