标签：分词器 text Character analyzer elasticsearch Filters 文本

elasticsearch系统学习笔记6-文本分析与分词器

概念

• Analysis(文本分析) 是把全文本转换成一系列单词（term/token）的过程，也叫分词；
• Analysis(文本分析) 是通过 Analyzer(分词器) 来实现的；
• 可使用内置的分词器，也可以定制化分词器；

Analyzer 的组成

分词器一般由三部分组成（也可以只包含部分组件）：

• Character Filters - 对原始文本进行一些处理操作；比如转换与过滤（去除）
• Tokenizer - 按照一定规则对文本进行切分；
• Token Filters - 将切分后的单词进行一些处理；如转换，增加（同义词…）与删除（结尾词…）

内置分词器

资料

1. standard analyzer

• Character Filters
• Tokenizer
  • standard
• Token Filters
  • standard
  • Lower Case （小写转换）
  • Stop (默认关闭)

2. simple analyzer

• Character Filters
• Tokenizer
  • Lower Case
• Token Filters

---

Language Analyzers

3. ICU analyzer

• https://www.elastic.co/guide/en/elasticsearch/plugins/current/analysis-icu.html
• https://icu.unicode.org/

./bin/elasticsearch-plugin install analysis-icu

• Character Filters
  • Normalization
• Tokenizer
  • ICU Tokenizer
• Token Filters
  • Normalization
  • Folding
  • Collation
  • Transform

测试：

GET /_analyze
{
  "analyzer": "icu_analyzer",
  "text": "他说的确实在理"
}

_analyzer api

1. 指定 Analyzer 进行测试

GET /_analyze
{
  "analyzer": "standard",
  "text": "Elasticsearch in Action"
}

2. 指定索引的字段上所使用的分词器进行测试

POST user/_analyze
{
  "field": "name",
  "text": "Elasticsearch in action"
}

3. 定制化分词器进行测试

POST /_analyze
{
  "tokenizer": "standard",
  "filter": ["uppercase"],
  "text": "Elasticsearch in action"
}

标签：分词器,text,Character,analyzer,elasticsearch,Filters,文本
来源： https://blog.csdn.net/u013837825/article/details/122766103

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。