# 分词器 (pg_tokenizer)

> pg_tokenizer 完整指南：文本分析器、字符/词元过滤器、预训练与自定义词表模型，以及多语言分词。

---

LLMS 索引： [llms.txt](/zh/llms.txt)

---

**`pg_tokenizer`**（由 Pigsty 在 [`pgsty/pg_tokenizer`](https://github.com/pgsty/pg_tokenizer) 维护）是 [`vchord_bm25` (`pgsty/vchord_bm25`)](https://github.com/pgsty/vchord_bm25) 的配套 PostgreSQL 分词扩展，提供全文分析器与词表模型，可将原始文本转换为整数词元 ID 数组（`INT[]`）及稀疏 `bm25vector` 向量。


  - [分词器架构与基本用法](/zh/bm25/tokenizer/overview/) — 了解文本分析器（Text Analyzer）与词表模型（Model）如何协同工作，将原始文本转化为词元 ID。
  - [文本分析器与过滤器](/zh/bm25/tokenizer/text-analyzer/) — 配置字符过滤器、预分词器（Unicode、正则、结巴 Jieba）、词干提取器（支持 30 种语言）、停用词、同义词与 N-gram。
  - [分词词表模型](/zh/bm25/tokenizer/models/) — 使用内置预训练模型（llmlingua2、bert_base_uncased、wiki_tocken、gemma2b）、训练自定义语料模型，或导入 HuggingFace 与 Lindera 模型。
  - [多语言分词配方与限制](/zh/bm25/tokenizer/multilingual/) — 面向英文、中文（Jieba）、日文（Lindera）及特定领域自定义语料库的开箱即用配置方案。

---

本节页面：

- [分词器架构与基本用法](/zh/bm25/tokenizer/overview/): 理解 pg_tokenizer 的两阶段流水线：文本分析器（Text Analyzer）与分词模型（Tokenization Model）。
- [文本分析器与过滤器](/zh/bm25/tokenizer/text-analyzer/): pg_tokenizer 中字符过滤器、预分词器与词元过滤器的完整配置参考手册。
- [分词词表模型](/zh/bm25/tokenizer/models/): 预训练模型（llmlingua2、bert_base_uncased、wiki_tocken、gemma2b）、自定义语料训练模型、HuggingFace 分词器与 Lindera 模型。
- [多语言分词配方与限制](/zh/bm25/tokenizer/multilingual/): 面向英文、中文（结巴 Jieba）、日文（Lindera）的完整生产级分词配置方案及已知使用限制。

---

反链：

- [在 PostgreSQL 中利用上下文检索优化 RAG](/zh/blog/post/optimize-rag-with-contextual-retrieval-in-postgresql/)
- [VectorChord-BM25：推出独立的多语言高级搜索分词器 pg_tokenizer](/zh/blog/post/vectorchord-bm25-introducing-pgtokenizera-standalone-multilingual-tokenizer-for-advanced-search/)
- [VectorChord-BM25：用 BM25 排序彻底革新 PostgreSQL 搜索——速度比 ElasticSearch 快 3 倍](/zh/blog/post/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch/)
- [BM25](/zh/bm25/)
- [架构概览](/zh/bm25/getting-started/overview/)
- [快速开始](/zh/bm25/getting-started/quick-start/)