分词器 (pg_tokenizer) on Vchord

分词器架构与基本用法

Mon, 01 Jan 0001 00:00:00 +0000

两阶段分词流水线

在 pg_tokenizer 中，一个分词器（tokenizer）最多由两个阶段组成，负责将原始 TEXT 字符串转换为由整数词元 ID 构成的 INT[] 数组：

文本分析器与过滤器

Mon, 01 Jan 0001 00:00:00 +0000

文本分析器（Text Analyzer） 通过三个顺序阶段处理原始文本：

字符过滤器（character_filters） —— 对完整输入字符串执行零个或多个字符级转换。
预分词器（pre_tokenizer） —— 使用唯一的一个切分器将字符串切分为初始词元。
词元过滤器（token_filters） —— 对切分出的词元执行零个或多个转换、扩展或过滤操作。

SELECT create_text_analyzer('analyzer1', $$
character_filters = [
    "to_lowercase",
    { unicode_normalization = "nfkd" },
]
pre_tokenizer = "unicode_segmentation"
token_filters = [
    "skip_non_alphanumeric",
    { stopwords = "nltk_english" },
    { stemmer = "english_porter2" },
]
$$);

提示

在将文本分析器绑定到模型之前，你可以直接运行 SELECT apply_text_analyzer('Sample text here', 'analyzer1'); 来测试并查看其输出的 TEXT[] 词元数组。

分词词表模型

Mon, 01 Jan 0001 00:00:00 +0000

在 pg_tokenizer 中，模型（Model） 负责将字符串词元（或原始文本）映射为整数词元 ID（INT[]）。你可以直接选用四个内置预训练模型、在 PostgreSQL 表上训练自定义词表模型、导入任意 HuggingFace tokenizer.json，或者使用 Lindera 形态学分析模型。

多语言分词配方与限制

Mon, 01 Jan 0001 00:00:00 +0000

本页提供可直接用于生产环境的英文、中文和日文全文 BM25 检索分词配置配方，并列出在实际运维中需要注意的关键限制事项。

配方一：带词干提取与停用词过滤的英文检索（`wiki_tocken`）

将 Unicode 词边界切分、NLTK 停用词过滤、Porter2 词干提取与内置维基百科词表（wiki_tocken）结合使用：

分词器 (pg_tokenizer) on Vchord

分词器架构与基本用法

两阶段分词流水线

文本分析器与过滤器

分词词表模型

多语言分词配方与限制

配方一：带词干提取与停用词过滤的英文检索（wiki_tocken）

配方一：带词干提取与停用词过滤的英文检索（`wiki_tocken`）