pg_tokenizer 文档 on Vchord

安装指南

Mon, 01 Jan 0001 00:00:00 +0000

通过 `pig` 安装原生 Linux 软件包（推荐）

在 EL 8/9/10、Debian 12/13 与 Ubuntu 22.04/24.04（支持 PostgreSQL 14–18）上，可以直接从 Pigsty 软件仓库安装预构建的原生软件包（完整包可用性矩阵见 pgext.cloud）：

分词器架构与基本用法

Mon, 01 Jan 0001 00:00:00 +0000

两阶段分词流水线

在 pg_tokenizer 中，一个分词器（tokenizer）最多由两个阶段组成，负责将原始 TEXT 字符串转换为由整数词元 ID 构成的 INT[] 数组：

文本分析器与过滤器

Mon, 01 Jan 0001 00:00:00 +0000

文本分析器（Text Analyzer） 通过三个顺序阶段处理原始文本：

字符过滤器（character_filters） —— 对完整输入字符串执行零个或多个字符级转换。
预分词器（pre_tokenizer） —— 使用唯一的一个切分器将字符串切分为初始词元。
词元过滤器（token_filters） —— 对切分出的词元执行零个或多个转换、扩展或过滤操作。

SELECT create_text_analyzer('analyzer1', $$
character_filters = [
    "to_lowercase",
    { unicode_normalization = "nfkd" },
]
pre_tokenizer = "unicode_segmentation"
token_filters = [
    "skip_non_alphanumeric",
    { stopwords = "nltk_english" },
    { stemmer = "english_porter2" },
]
$$);

提示

在将文本分析器绑定到模型之前，你可以直接运行 SELECT apply_text_analyzer('Sample text here', 'analyzer1'); 来测试并查看其输出的 TEXT[] 词元数组。

分词词表模型

Mon, 01 Jan 0001 00:00:00 +0000

在 pg_tokenizer 中，模型（Model） 负责将字符串词元（或原始文本）映射为整数词元 ID（INT[]）。你可以直接选用四个内置预训练模型、在 PostgreSQL 表上训练自定义词表模型、导入任意 HuggingFace tokenizer.json，或者使用 Lindera 形态学分析模型。

多语言分词配方与限制

Mon, 01 Jan 0001 00:00:00 +0000

本页提供可直接用于生产环境的英文、中文和日文全文 BM25 检索分词配置配方，并列出在实际运维中需要注意的关键限制事项。

配方一：带词干提取与停用词过滤的英文检索（`wiki_tocken`）

将 Unicode 词边界切分、NLTK 停用词过滤、Porter2 词干提取与内置维基百科词表（wiki_tocken）结合使用：

SQL 与 TOML 参考

Mon, 01 Jan 0001 00:00:00 +0000

SQL 函数参考（`tokenizer_catalog`）

文本分析器与词典管理

函数签名	返回类型	说明
`tokenizer_catalog.create_text_analyzer(name TEXT, config TEXT)`	`VOID`	根据 TOML 配置字符串创建命名文本分析器流水线。
`tokenizer_catalog.drop_text_analyzer(name TEXT)`	`VOID`	按名称删除文本分析器。
`tokenizer_catalog.apply_text_analyzer(text TEXT, text_analyzer_name TEXT)`	`TEXT[]`	使用指定文本分析器切分并过滤 `text`，返回词元数组以供调试预览。
`tokenizer_catalog.create_stopwords(name TEXT, config TEXT)`	`VOID`	创建自定义停用词词典（每行一个停用词）。
`tokenizer_catalog.drop_stopwords(name TEXT)`	`VOID`	删除自定义停用词词典。
`tokenizer_catalog.create_synonym(name TEXT, config TEXT)`	`VOID`	创建自定义同义词词典（每行一组以空格分隔的同义词，统一映射为首词）。
`tokenizer_catalog.drop_synonym(name TEXT)`	`VOID`	删除自定义同义词词典。

分词模型与预加载管理

函数签名	返回类型	说明
`tokenizer_catalog.create_custom_model(name TEXT, config TEXT)`	`VOID`	基于现有数据表列构建自定义词表模型。
`tokenizer_catalog.create_custom_model_tokenizer_and_trigger(tokenizer_name TEXT, model_name TEXT, text_analyzer_name TEXT, table_name TEXT, source_column TEXT, target_column TEXT)`	`VOID`	一键创建自定义词表模型与分词器，回填 `target_column`，并在 `source_column` 上安装自动更新触发器。
`tokenizer_catalog.drop_custom_model(name TEXT)`	`VOID`	删除自定义词表模型。
`tokenizer_catalog.create_huggingface_model(name TEXT, config TEXT)`	`VOID`	导入 HuggingFace `tokenizer.json` 模型定义。
`tokenizer_catalog.drop_huggingface_model(name TEXT)`	`VOID`	删除已导入的 HuggingFace 模型。
`tokenizer_catalog.create_lindera_model(name TEXT, config TEXT)`	`VOID`	根据 TOML 配置创建 Lindera 形态学分词模型。
`tokenizer_catalog.drop_lindera_model(name TEXT)`	`VOID`	删除 Lindera 模型。
`tokenizer_catalog.add_preload_model(name TEXT)`	`VOID`	将模型加入共享内存预加载列表（重启 PostgreSQL 后生效）。
`tokenizer_catalog.remove_preload_model(name TEXT)`	`VOID`	将模型移出预加载列表。
`tokenizer_catalog.list_preload_models()`	`TEXT[]`	列出当前已注册预加载的所有模型名称。

分词器执行函数

函数签名	返回类型	说明
`tokenizer_catalog.create_tokenizer(name TEXT, config TEXT)`	`VOID`	创建分词器（组合可选的 `text_analyzer` 与必选的 `model`）。
`tokenizer_catalog.drop_tokenizer(name TEXT)`	`VOID`	按名称删除分词器。
`tokenizer_catalog.tokenize(text TEXT, tokenizer_name TEXT)`	`INT[]`	将 `text` 分词为整数词元 ID 数组（可隐式转换为 `bm25vector`）。

TOML 配置参数参考

`text_analyzer` 配置项

键名	类型	说明
`character_filters`	表数组 / 字符串数组	字符级过滤转换（`to_lowercase`、`unicode_normalization = "nfc" \| "nfd" \| "nfkc" \| "nfkd"`）。
`pre_tokenizer`	表 / 字符串	初始分词切分器（`unicode_segmentation`、`regex = "..."` 或 `jieba`）。
`token_filters`	表数组 / 字符串数组	词元级过滤器（`skip_non_alphanumeric`、`stemmer`、`stopwords`、`synonym`、`pg_dict`、`ngram`）。

`tokenizer` 配置项

键名	类型	说明
`text_analyzer`	字符串	已创建的 `text_analyzer` 名称（或内联 `[text_analyzer]` 表）。使用独立子词模型时无需配置。
`model`	字符串	内置预训练模型（`llmlingua2`、`bert_base_uncased`、`wiki_tocken`、`gemma2b`）或自定义/HuggingFace/Lindera 模型名称。

`custom_model` 配置项

键名	类型	说明
`table`	字符串	存放训练语料的数据表名称。
`column`	字符串	存放原始文本的 `TEXT` 列名称。
`text_analyzer`	字符串	用于提取词表词元的 `text_analyzer` 名称。

0.1.2 新增接口（未发布）

接口	返回类型	行为
`tokenizer_catalog.analyze_to_tsvector(text TEXT, text_analyzer_name TEXT)`	`TSVECTOR`	将分析器输出的字符串词元转换为带位置的原生词素。
`tokenizer_catalog.tokenize_to_tsvector(text TEXT, tokenizer_name TEXT)`	`TSVECTOR`	将模型输出的词元 ID 转为十进制词素，保留输出位置。

两个函数均为 STABLE；先存入列，再为该列创建 GIN/GiST 索引。文档与查询必须采用相同的词素表示，详见原生全文检索。

pg_tokenizer 文档 on Vchord

安装指南

通过 pig 安装原生 Linux 软件包（推荐）

分词器架构与基本用法

两阶段分词流水线

文本分析器与过滤器

分词词表模型

多语言分词配方与限制

配方一：带词干提取与停用词过滤的英文检索（wiki_tocken）

SQL 与 TOML 参考

SQL 函数参考（tokenizer_catalog）

文本分析器与词典管理

分词模型与预加载管理

分词器执行函数

TOML 配置参数参考

text_analyzer 配置项

tokenizer 配置项

custom_model 配置项

0.1.2 新增接口（未发布）

通过 `pig` 安装原生 Linux 软件包（推荐）

配方一：带词干提取与停用词过滤的英文检索（`wiki_tocken`）

SQL 函数参考（`tokenizer_catalog`）

`text_analyzer` 配置项

`tokenizer` 配置项

`custom_model` 配置项