跳转到主要内容

Jinjing Zhou

TensorChord 核心工程师 · VectorChord、vchord_bm25 与 pg_tokenizer 核心作者 (@VoVAllen)

TensorChord 核心数据库与系统工程师,vchord、vchord_bm25、pg_tokenizer 与 pg_bestmatch 核心架构师。GitHub:@VoVAllen。

  • VectorChord 1.0:Postgres 上开发者优先的向量搜索,索引速度比 pgvector 快 100 倍

    Jinjing Zhou 发布于 版本发布 5405 字 11 分钟

    Jinjing Zhoureleasevectorchord

    VectorChord 1.0:Postgres 上开发者优先的向量搜索,索引速度比 pgvector 快 100 倍

    两年前,当我们发布第一篇 pgvecto.rs 博客文章时,我们下了一个赌注:Postgres 是进行向量搜索的最佳场所。从那时起,我们一直围绕这个信念持续迭代——从支持过滤向量搜索的 VBASE,到更长维度的向量支持,再到 RaBitQ 量化方案以及对磁盘友好的索引布局。 随着 VectorChord 1.0 的到来,我们再次实现了突破。在一台 16 vCPU 的机器上,我们现在可以在 20 分钟内为 1 亿(100M)个向量构建好索引;而在相同规模下,pgvector 需要超过 50 个小时 …

    两年前,当我们发布第一篇 pgvecto.rs 博客文章时,我们下了一个赌注:Postgres 是进行向量搜索的最佳场所。从那时起,我们一直围绕这个信念持续迭代——从支持过滤向量搜索的 VBASE,到更长维度的向量支持,再到 RaBitQ 量化方案以及对磁盘友好的索引布局。 随着 VectorChord 1.0 的到来,我们再次实现了突破。在一台 16 vCPU 的机器上,我们现在可以在 20 分钟内为 1 亿(100M)个向量构建好索引;而在相同规模下,pgvector 需要超过 50 个小时 …

  • VectorChord 0.4:凭借高级 I/O 与预过滤实现更快的 PostgreSQL 向量搜索

    Jinjing Zhou 发布于 版本发布 1984 字 4 分钟

    Jinjing Zhoureleasepgvectorvectorchord

    VectorChord 0.4:凭借高级 I/O 与预过滤实现更快的 PostgreSQL 向量搜索

    我们很高兴地宣布发布 VectorChord 0.4,这是一次全面增强 PostgreSQL 高性能向量搜索能力的重要更新。我们相信,此次发布进一步拓展了 PostgreSQL 向量搜索的能力边界,引入了多项关键架构改进,旨在为严苛的真实业务负载降低延迟并提升吞吐量。 如果你正在 PostgreSQL 上构建相似度搜索、RAG 流水线或其他 AI 驱动的应用,这些更新正是为你量身打造的。我们重点聚焦于两大领域:利用 PostgreSQL 不断演进的底层能力大幅提升冷查询(Cold Query)的 …

    我们很高兴地宣布发布 VectorChord 0.4,这是一次全面增强 PostgreSQL 高性能向量搜索能力的重要更新。我们相信,此次发布进一步拓展了 PostgreSQL 向量搜索的能力边界,引入了多项关键架构改进,旨在为严苛的真实业务负载降低延迟并提升吞吐量。 如果你正在 PostgreSQL 上构建相似度搜索、RAG 流水线或其他 AI 驱动的应用,这些更新正是为你量身打造的。我们重点聚焦于两大领域:利用 PostgreSQL 不断演进的底层能力大幅提升冷查询(Cold Query)的 …

  • VectorChord 0.3:在 PostgreSQL 中实现高效的多向量上下文晚期交互

    Keming、Jinjing Zhou 发布于 版本发布 3331 字 7 分钟

    KemingJinjing Zhoureleasemultivectorvectorchord

    VectorChord 0.3:在 PostgreSQL 中实现高效的多向量上下文晚期交互

    我们非常激动地宣布发布 VectorChord 0.3!这一重要里程碑直接在你的 Postgres 数据库内部显著提升了高级向量搜索技术的性能与适用性。在带来 ARM 支持与更快索引构建的 0.2 版本基础上,0.3 版本攻克了现代检索领域的最大难关之一:具备晚期交互(Late Interaction)能力的高效多向量搜索。 超越单向量:为什么多向量如此强大 多年来,向量搜索主要将整篇文档或整个查询表示为单个稠密向量(Dense Vector)。这种方法虽然强大,但需要将复杂的信息平均或压缩为单 …

    我们非常激动地宣布发布 VectorChord 0.3!这一重要里程碑直接在你的 Postgres 数据库内部显著提升了高级向量搜索技术的性能与适用性。在带来 ARM 支持与更快索引构建的 0.2 版本基础上,0.3 版本攻克了现代检索领域的最大难关之一:具备晚期交互(Late Interaction)能力的高效多向量搜索。 超越单向量:为什么多向量如此强大 多年来,向量搜索主要将整篇文档或整个查询表示为单个稠密向量(Dense Vector)。这种方法虽然强大,但需要将复杂的信息平均或压缩为单 …

  • 在 PostgreSQL 中用 30 亿向量守护地球

    Jinjing Zhou 发布于 工程实践 4308 字 9 分钟

    Jinjing Zhoupostgresql

    在 PostgreSQL 中用 30 亿向量守护地球

    监测地球的健康状况是我们这个时代最严峻的挑战之一。我们的星球正面临巨大的环境压力,而要理解这些变化,就必须筛选超乎想象的海量卫星数据——持续不断捕获的 PB 级像素图像。从追踪亚马逊雨林的森林砍伐,到识别偏远地区的非法采矿作业,再到监测农业活动对敏感生态系统的影响,将这些原始数据转化为可落地的行动情报至关重要。 Earth Genome 打造的 Earth Index 平台正在正面迎击这一挑战。如今,它已实现全球覆盖,利用 AI 的力量让地球上的每一寸陆地表面都变得可搜索。这不仅是一项技术成就, …

    监测地球的健康状况是我们这个时代最严峻的挑战之一。我们的星球正面临巨大的环境压力,而要理解这些变化,就必须筛选超乎想象的海量卫星数据——持续不断捕获的 PB 级像素图像。从追踪亚马逊雨林的森林砍伐,到识别偏远地区的非法采矿作业,再到监测农业活动对敏感生态系统的影响,将这些原始数据转化为可落地的行动情报至关重要。 Earth Genome 打造的 Earth Index 平台正在正面迎击这一挑战。如今,它已实现全球覆盖,利用 AI 的力量让地球上的每一寸陆地表面都变得可搜索。这不仅是一项技术成就, …

  • VectorChord-BM25:推出独立的多语言高级搜索分词器 pg_tokenizer

    Jinjing Zhou 发布于 工程实践 2439 字 5 分钟

    Jinjing Zhouvector-databasevectorchord

    VectorChord-BM25:推出独立的多语言高级搜索分词器 pg_tokenizer

    我们很高兴地宣布发布 VectorChord-BM25 0.2 版本!这款 PostgreSQL 扩展旨在将先进的基于 BM25 的全文检索排序能力直接引入您的数据库中。 借助 VectorChord-BM25,您无需依赖外部搜索引擎,即可直接利用信息检索领域的标准算法——BM25 的强大能力。本次发布迈出了重要一步,重点强化了核心文本处理组件:分词(tokenization),从而带来了更高的灵活性以及显著提升的多语言支持能力。 重磅消息:推出 pg_tokenizer.rs …

    我们很高兴地宣布发布 VectorChord-BM25 0.2 版本!这款 PostgreSQL 扩展旨在将先进的基于 BM25 的全文检索排序能力直接引入您的数据库中。 借助 VectorChord-BM25,您无需依赖外部搜索引擎,即可直接利用信息检索领域的标准算法——BM25 的强大能力。本次发布迈出了重要一步,重点强化了核心文本处理组件:分词(tokenization),从而带来了更高的灵活性以及显著提升的多语言支持能力。 重磅消息:推出 pg_tokenizer.rs …

  • PostgreSQL 全文检索:用对方法其实很快(打破“慢”的迷思)

    Jinjing Zhou、Junyu Chen 发布于 工程实践 2810 字 6 分钟

    Jinjing ZhouJunyu Chenbm25

    PostgreSQL 全文检索:用对方法其实很快(打破“慢”的迷思)

    你可能在一些技术讨论或博客文章中看到过这样的观点:与专用搜索引擎或特定扩展相比,PostgreSQL 内置的全文检索(Full-Text Search,简称 FTS)在性能上表现不佳。近期一个典型的例子是 Neon 发布的博客文章《Performance Benchmark: pg_search on Neon》(链接)。 在这项基准测试中,Neon 将其数据库平台上搭载 pg_search 扩展(基于 Rust 的 Tantivy 库并通过 pgrx 构建)的查询性能,与使用 tsvector …

    你可能在一些技术讨论或博客文章中看到过这样的观点:与专用搜索引擎或特定扩展相比,PostgreSQL 内置的全文检索(Full-Text Search,简称 FTS)在性能上表现不佳。近期一个典型的例子是 Neon 发布的博客文章《Performance Benchmark: pg_search on Neon》(链接)。 在这项基准测试中,Neon 将其数据库平台上搭载 pg_search 扩展(基于 Rust 的 Tantivy 库并通过 pgrx 构建)的查询性能,与使用 tsvector …

  • VectorChord-BM25:用 BM25 排序彻底革新 PostgreSQL 搜索——速度比 ElasticSearch 快 3 倍

    Jinjing Zhou 发布于 工程实践 5376 字 11 分钟

    Jinjing Zhoupostgresqlvectorchord

    VectorChord-BM25:用 BM25 排序彻底革新 PostgreSQL 搜索——速度比 ElasticSearch 快 3 倍

    我们非常高兴与大家分享一款重磅新作:VectorChord-BM25,这是一款旨在让 PostgreSQL 全文检索更上一层楼的全新扩展。无论您是在构建小型应用还是管理大规模系统,这款工具都能将先进的 BM25 评分与排序能力直接引入 PostgreSQL,让您的搜索更智能、更迅速。 有哪些新特性? BM25 评分与排序:借助 BM25 获得更精准、更相关的搜索结果,助您快速定位最重要的信息。 优化的索引结构:得益于 Block WeakAnd 算法,即便面对大规模数据集,搜索也能更加快速高效。 …

    我们非常高兴与大家分享一款重磅新作:VectorChord-BM25,这是一款旨在让 PostgreSQL 全文检索更上一层楼的全新扩展。无论您是在构建小型应用还是管理大规模系统,这款工具都能将先进的 BM25 评分与排序能力直接引入 PostgreSQL,让您的搜索更智能、更迅速。 有哪些新特性? BM25 评分与排序:借助 BM25 获得更精准、更相关的搜索结果,助您快速定位最重要的信息。 优化的索引结构:得益于 Block WeakAnd 算法,即便面对大规模数据集,搜索也能更加快速高效。 …

  • VectorChord 0.2:支持 60,000 维向量,ARM 架构下索引速度提升 50%

    Jinjing Zhou 发布于 版本发布 1820 字 4 分钟

    Jinjing Zhoureleasepostgresqlvectorchord

    VectorChord 0.2:支持 60,000 维向量,ARM 架构下索引速度提升 50%

    今天,我们非常激动地向大家分享 VectorChord 0.2——这是一个凝聚了社区反馈、旨在应对 PostgreSQL 向量搜索不断演进的挑战而打造的新版本。 %[https://github.com/tensorchord/VectorChord/] 优化存储布局:支持高达 60,000 维向量 在 PostgreSQL 中,基础存储单元是 8KB 的数据页(Page)。虽然这种设计对于大多数常规负载非常稳健,但它也给高维向量搜索等现代应用场景带来了限制。例如,受限于固定的页面大小 …

    今天,我们非常激动地向大家分享 VectorChord 0.2——这是一个凝聚了社区反馈、旨在应对 PostgreSQL 向量搜索不断演进的挑战而打造的新版本。 %[https://github.com/tensorchord/VectorChord/] 优化存储布局:支持高达 60,000 维向量 在 PostgreSQL 中,基础存储单元是 8KB 的数据页(Page)。虽然这种设计对于大多数常规负载非常稳健,但它也给高维向量搜索等现代应用场景带来了限制。例如,受限于固定的页面大小 …

  • 为什么 HNSW 不是终极答案

    Jinjing Zhou 发布于 工程实践 2765 字 6 分钟

    Jinjing Zhoupostgresql

    为什么 HNSW 不是终极答案

    HNSW(Hierarchical Navigable Small World,分层可导航小世界图)已成为众多向量数据库的首选算法。其多层图结构以及高效导航向量嵌入的能力使其格外具有吸引力。然而,尽管拥有诸多显著优势,对于大规模且动态变化的向量相似度搜索而言,HNSW 可能并非最优解。在本文中,我们将挑战 HNSW 的主导地位,并探讨为什么基于磁盘的替代方案——例如 IVF(Inverted File Index,倒排文件索引)——在面对海量数据集时更具实用价值。 HNSW 的吸引力 HNSW …

    HNSW(Hierarchical Navigable Small World,分层可导航小世界图)已成为众多向量数据库的首选算法。其多层图结构以及高效导航向量嵌入的能力使其格外具有吸引力。然而,尽管拥有诸多显著优势,对于大规模且动态变化的向量相似度搜索而言,HNSW 可能并非最优解。在本文中,我们将挑战 HNSW 的主导地位,并探讨为什么基于磁盘的替代方案——例如 IVF(Inverted File Index,倒排文件索引)——在面对海量数据集时更具实用价值。 HNSW 的吸引力 HNSW …

  • VectorChord:在 PostgreSQL 中仅花 $1 存储 40 万向量

    Ce Gao、Jinjing Zhou、Junyu Chen 发布于 工程实践 2639 字 6 分钟

    Ce GaoJinjing ZhouJunyu Chenvectorchord

    VectorChord:在 PostgreSQL 中仅花 $1 存储 40 万向量

    我们很高兴地宣布推出全新的 PostgreSQL 向量搜索扩展,为大规模向量管理提供极具性价比的解决方案。使用 VectorChord,您可以在 1 亿条 768 维向量数据集上执行 Top 10 查询时,以 0.95 的精度实现 131 QPS。整套环境可在单台机器上运行,每月成本仅为 $250。 这意味着您只需花费 $1 即可存储 40 万条向量,从而大幅节省成本:在同等价格下,可存储的向量数量是 Pinecone(存储优化型实例)的 6 倍,更是 pgvector/pgvecto.rs 的 …

    我们很高兴地宣布推出全新的 PostgreSQL 向量搜索扩展,为大规模向量管理提供极具性价比的解决方案。使用 VectorChord,您可以在 1 亿条 768 维向量数据集上执行 Top 10 查询时,以 0.95 的精度实现 131 QPS。整套环境可在单台机器上运行,每月成本仅为 $250。 这意味着您只需花费 $1 即可存储 40 万条向量,从而大幅节省成本:在同等价格下,可存储的向量数量是 Pinecone(存储优化型实例)的 6 倍,更是 pgvector/pgvecto.rs 的 …

  • pg_bestmatch.rs:用 BM25 全面提升 PostgreSQL 文本查询能力

    Jinjing Zhou 发布于 工程实践 1550 字 4 分钟

    Jinjing Zhourag

    pg_bestmatch.rs:用 BM25 全面提升 PostgreSQL 文本查询能力

    提示 更新提示:欢迎了解我们最新的扩展 VectorChord-BM25,它在 PostgreSQL 中实现了端到端的 BM25 排序。详情请阅读:https://vchord.pgsty.com/zh/blog/post/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch/ …

    提示 更新提示:欢迎了解我们最新的扩展 VectorChord-BM25,它在 PostgreSQL 中实现了端到端的 BM25 排序。详情请阅读:https://vchord.pgsty.com/zh/blog/post/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch/ …