Elasticsearch7.X ILM索引生命周期管理(冷热分离)

Elasticsearch7.X ILM索引生命周期治理(冷热星散)

一、“索引生命周期治理”概述

Elasticsearch索引生命周期治理指:Elasticsearch从设置、建立、打开、关闭、删除的全生命周期历程的治理。

二、为什么要使用“索引生命周期治理”

1、ELK集群之前的索引模式,通过app_name和日期区分,随着时间累积,索引数目逐渐增多,造成服务器内存、CPU、IO等指标上涨;

2、需要建立分外准时义务执行索引删除剧本,这种方式无法制止kafka重复消费造成的大量已删除索引重修,并无法用剧本按日期删除;

3、凭据日志查询和存储的特点,将数据冷热星散,热数据使用高性能磁盘提高写入与查询效率,温数据只做查询不影响数据写入性能,冷数据用OSS等低价存储作为归档节约存储成本。

三、面临的问题

1、ES生命周期计谋要慎密贴合营业模子

2、数据冷热节点和生命周期计谋需要合理计划

3、数据高可用性计划(单纯日志场景对数据可用性并不高,可以计划0副本索引,减小系统开销)

四、设置方式及原理

1、生命周期治理的本质–RollOver

当现有索引被以为太大或太旧时,转动索引API将别名转动到新索引。该API接受一个别名和一个条件列表。别名必须只指向一个索引。若是索引知足指定条件,则建立一个新索引,并将别名切换到指向新索引的位置

2、使用场景

RollOver适合存放日志数据、索引非常大、索引实时导入数据等场景

在索引模板设置好索引的setting、mapping等参数,然后设置好_rollover规则,es会辅助你处置剩余的事情

索引生命周期治理使用了rollover的特征,将rollover分成四个阶段。

3、四个阶段

ES索引生命周期治理分为4个阶段:hot、warm、cold、delete,其中hot主要卖力对索引举行rollover操作,warm、cold、delete分别对rollover后的数据进一步处置

阶段 形貌
hot 主要处置时序数据的实时写入
warm 可以用来查询,然则不再写入
cold 索引不再有更新操作,而且查询也会很少
delete 数据将被删除

 

注重:上述四个阶段不是必须同时存在

4、设置方式

实现索引生命周期,必须同时存在如下要素,缺一不可,上述四个阶段可以凭据实际情况设置,并为ES数据节点添加响应的标签。

设置项 形貌
节点标签 设置数据节点标签,区分热节点、温节点以及冷节点
生命周期计谋 界说热阶段的巨细、最大文档数或最大时长,温阶段是否缩小索引、冷阶段存在时长及删除周期
索引模板引用生命周期计谋 模板中指定引用的生命周期计谋,按模板规则建立索引后,加载生命周期计谋
索引模板指定调剂节点 将新建索引分片都分配到热节点
4.1、节点
热节点

这种类型的数据节点执行集群内所有的操作,节点存储的数据经常被查询,属于IO、CPU密集型操作,因而需要CPU对照空闲和装有高性能IO读写的磁盘(如SSD)的服务器支持。

#设置方式
vim /data/app/elasticsearch/config/elasticsearch.yml

#每个热节点加入如下设置并重启服务
node.attr.box_type: hot
node.attr.rack: rack1
#这两项设置是为节点增添标签,详细名称并不是写死的,与后面模板和计谋设置有关
温节点

这种类型的数据节点处置不太常用的索引(好比前一天的日志数据),这种数据查询的实时性不算高,索引为只读索引,不会有写入操作,因此不需要SSD磁盘存储,降低存储成本。

#设置方式
vim /data/app/elasticsearch/config/elasticsearch.yml

#每个温节点加入如下设置并重启服务
node.attr.box_type: warm
node.attr.rack: rack1
冷节点

冷节点数据适合作为归档使用,比温节点查询还要少(好比半月以上的归档日志),这种类型数据一样平常很少查询,并不会消耗CPU性能及IO,然则存储容量会很大,需要更低成本的存储,例如OSS或S3;ES可以使用经由fuse协议挂载的工具存储作为后端存储。

JAVA 实现将多目录多层级文件打成ZIP包后保留层级目录下载 ZIP压缩 下载

#设置方式
vim /data/app/elasticsearch/config/elasticsearch.yml

#每个温节点加入如下设置并重启服务
node.attr.box_type: cold
node.attr.rack: rack1
4.2、生命周期计谋

设置方式:

1、行使Kibana新建计谋并指定到模板

打开Kibana—>治理—>索引生命周期计谋

建立计谋

Elasticsearch7.X ILM索引生命周期管理(冷热分离)

 

 Elasticsearch7.X ILM索引生命周期管理(冷热分离)

 

 Elasticsearch7.X ILM索引生命周期管理(冷热分离)

 

 保留计谋并在建立模板后添加到模板中

Elasticsearch7.X ILM索引生命周期管理(冷热分离)

 

 2、挪用ESApi将计谋写入ES

curl -XPUT -H "content-type:application/json" http://es_addr:9200/_ilm/policy/test_policy \

-d "{
    "policy": {
        "phases": {
            "hot": {
                "min_age": "0ms",
                "actions": {
                    "rollover": {
                        "max_age": "1h",
                        "max_size": "10mb",
                        "max_docs": 50000
                    },
                    "set_priority": {
                        "priority": 100
                    }
                }
            },
            "warm": {
                "min_age": "0ms",
                "actions": {
                    "allocate": {
                        "number_of_replicas": 0,
                        "include": {},
                        "exclude": {},
                        "require": {
                            "box_type": "warm"
                        }
                    },
                    "shrink": {
                        "number_of_shards": 3
                    },
                    "set_priority": {
                        "priority": 50
                    }
                }
            },
            "cold": {
                "min_age": "1h",
                "actions": {
                    "freeze": {},
                    "allocate": {
                        "include": {},
                        "exclude": {},
                        "require": {
                            "box_type": "cold"
                        }
                    },
                    "set_priority": {
                        "priority": 0
                    }
                }
            },
            "delete": {
                "min_age": "2h",
                "actions": {
                    "delete": {}
                }
            }
        }
    }"
4.3、索引模板

以下为索引模板设置,要有以下设置项计谋才会生效,其他选项如字段mapping等请参考官方文档

PUT _template/my_template
{
  "index_patterns": ["test-*"], 
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 0,
    "index.lifecycle.name": "test_policy", #指定索引生命周期计谋名称
    "index.lifecycle.rollover_alias": "test-alias", #指定rollover别名(索引写入与读取时所用的名称)
    "routing.allocation.require.box_type": "hot" #指定索引新建时所分配的节点(此项不指定会默认分配到所有节点)
  }
}

注重:索引建立的名称应该是以 “-00001”等可自增进的字段末端,否则计谋不生效,es指定以是的别名写入

 

原创文章,作者:admin,如若转载,请注明出处:https://www.2lxm.com/archives/23898.html