Elasticsearch自定义分词器

2020-12-15 00:16:19 编辑 0 阅读量:588

Elasticsearch的analyzer通常由三个部分组成，Character filters（字符过滤器），tokenizer（分词器），Token Filters （词元过滤器）。
## 1. 说明
按照一个text被处理的顺序来说，是：
#### 1.1 character filters
Character filters（字符过滤器）用于字符流传递到分词器（tokenizer）之前对它进行预处理。
一个 Character filters（字符过滤器）接收原始文本作为字符流，通过 adding（添加），removing（删除）或 changing （更改）字符来转换流。例如，可以使用字符过滤器将 Arabic numerals（阿拉伯数字）（٠‎١٢٣٤٥٦٧٨‎٩‎）转换为和它等价的 Latin（拉丁数字）（0123456789），也可以用于从字符流中剥离 <b> 等 HTML 元素。
#### 1.2 tokenizer
一个 tokenizer（分词器）接收一个字符流，将之分割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens 流。
例如，whitespace tokenizer 遇到空白字符时分割文本。它会将文本 "Quick brown fox!" 分割为 [Quick, brown, fox!]。
该 tokenizer（分词器）还负责记录各个 term（词条）的顺序或 position 位置（用于 phrase 短语和 word proximity 词近邻查询），以及 term（词条）所代表的原始 word（单词）的 start（起始）和 end（结束）的 character offsets（字符偏移量）（用于高亮显示搜索的内容）。
#### 1.3 token filters
Token Filters （词元过滤器） 接受来自 tokenizer（分词器） 的 tokens 流，并且可以修改 tokens（例如小写转换），删除 tokens（例如，删除 stopwords 停用词）或添加 tokens（例如，同义词）。
Elasticsearch 提供了很多内置的 token filters（词元过滤器），可以用于构建 custom analyzers（自定义分词器）。

## 2. 举例说明
#### 2.1 一个使用"||"分词的过滤器
```
PUT index_name/_settings
{
  "settings": {
    "analysis": {
      "analyzer": {
        "line_analyzer":{
          "tokenizer": "line_tokenizer"
        }
      },
      "tokenizer": {
        "line_tokenizer": {
          "type": "pattern",
          "pattern": "\\|\\|"
        }
      }
    }
  }
}

POST lawplatform_tmp/_analyze
{
  "analyzer": "line_analyzer", 
  "text": "23|43||67||12"
}
# 分词的结果为 23|43    67   12
```

#### 2.2 一个较复杂的例子
```
index :
    analysis :
        analyzer :
            myAnalyzer2 :
                type : custom
                tokenizer : myTokenizer1
                filter : [myTokenFilter1, myTokenFilter2]
                char_filter : [my_html]
                position_increment_gap: 256
        tokenizer :
            myTokenizer1 :
                type : standard
                max_token_length : 900
        filter :
            myTokenFilter1 :
                type : stop
                stopwords : [stop1, stop2, stop3, stop4]
            myTokenFilter2 :
                type : length
                min : 0
                max : 2000
        char_filter :
              my_html :
                type : html_strip
                escaped_tags : [xxx, yyy]
                read_ahead : 1024
```

## 附录
1. 注意，修改索引分词器时，要将索引先关闭，修改好后再打开
2. 更新索引配置是，不要忘了后面的 /_settings, 否则会报错索引已存在

---
参考：
- [1][Pattern Tokenizer](http://cwiki.apachecn.org/display/Elasticsearch/Pattern+Tokenizer)
- [2][Custom Analyzer 自定义解析器](https://scsundefined.gitbooks.io/elasticsearch-reference-cn/content/s13/01_09_custom_analyzer.html)

Elasticsearch自定义分词器

附件: