零门槛！使用Docker快速部署ES集群-深蓝源码网

自从接触 Docker 之后，对 Docker 简直是爱不释手，做什么都是行云流水。遇到部署开源软件需求，第一时间想到的都是有没有现成的 Docker 镜像？能不能直接拉起来使用？

所以，这次网平的 ES 集群的重建，全部使用 DockerHub 已有镜像完成部署，整个过程变得非常简单！本文将分享详细的部署过程，希望对 ES 感兴趣或即将入坑 ES 的同学带来一些帮助。

一、整体架构

这里，我先给出本文最终的整体架构，让大家有一个清晰的部署思路：

角色分离：本文分享的 ES 架构中，特意将 Master 和 Client 独立出来，后续节点的重启维护都能快速完成，对用户几乎没有影响。另外将这些角色独立出来的以后，对应的计算资源消耗也就从 Data 节点剥离了出来，更容易掌握 Data 节点资源消耗与写入量和查询量之间的联系，非常有利于集群后续的容量管理和规划，算是一个比较成熟的中小型方案，准备正儿八经开搞的同学可以参考部署。

Ps：详细的 ES 角色职责说明可以查看官方文档。

数据流向：Beats 或自研系统上报日志到 Kafka，然后 Logstash 从 Kafka 读取数据写入 ES.Client，最终数据存放到 ES.Data 节点。用户可以通过 Kibana 或 ES.Client 的 Restful 接口查询数据。

本文涉及的 IP 的角色属性清单：

# docker参数
==================================================
--name   指定docker容器的名称
--net=host   使用host网络模式（和宿主机一个网络）
--restart always docker 异常退出后自动重启
--volume / -v   挂载本地目录，格式 /src:/dst
-e 指定docker启动后环境变量（env）
--privileged 让docker可以拥有root权限
--ulimit nofile   系统文件句柄打开数量限制
--ulimit memlock 最大锁定内存地址空间，-1表示不限制
--memory 限制docker内存
--memory-swap 限制docker虚拟内存，-1 为不限制，共用宿主机swap
--cpuset-cpus 指定docker绑定的CPU
TERM=dumb   让docker里面可以执行top命令
 
# Zookeeper docker参数
==================================================
ZOO_PORT          配置zookeeper的服务端口
ZOO_DATA_DIR      配置zookeeper的文件存放目录
ZOO_DATA_LOG_DIR  配置zookeeper的日志存放目录
ZOO_MY_ID         配置zookeeper的节点ID，和ZOO_SERVERS中的一一对应
ZOO_SERVERS       配置集群节点信息
 
# Kafka docker参数
==================================================
KAFKA_BROKER_ID     配置broker id
KAFKA_PORT         配置服务端口
KAFKA_HEAP_OPTS   配置JVM heap内存限制
KAFKA_HOST_NAME   服务监听地址
KAFKA_ADVERTISED_HOST_NAME 同上
KAFKA_LOG_DIRS       配置数据存放分区
KAFKA_ZOOKEEPER_CONNECT   配置zookeeper连接
 
# 系统参数
==================================================
vm.max_map_count 定义了一个进程能拥有的最多的内存区域
vm.swappiness   配置是否允许使用swap虚拟内存
 
# ES参数
==================================================
iyunwei 纳尼？嗯，这只是我们爱运维的体现^_^
ES_JAVA_OPTS 配置ES JVM heap内存限制
cluster.name   集群名称
node.name 节点名称
node.master 节点角色配置，true表示可以成为主节点，false不能成为主节点
node.data   节点角色配置，true表示可以成为数据节点，false不能成为数据节点
node.ingest 节点角色配置，true表示可以成为协调节点，false不能成为协调节点（简单解释，请以官方为准）
node.attr.rack  节点服务器所在的机柜信息，可能在数据分布中起到指导作用
discovery.zen.ping.unicast.hosts 配置自动发现IP列表
discovery.zen.minimum_master_nodes 防止脑裂，这个参数控制的是，一个节点需要看到的具有master节点资格的最小数量，然后才能在集群中做操作。官方的推荐值是(N/2)+1，其中N是具有master资格的节点的数量（我们的情况是3，因此这个参数设置为2，但对于只有2个节点的情况，设置为2就有些问题了，一个节点DOWN掉后，你肯定连不上2台服务器了，这点需要注意）。
gateway.recover_after_nodes 控制集群在达到多少个节点之后才会开始数据恢复,通过这个设置可以避免集群自动相互发现的初期,shard分片不全的问题,假如es集群内一共有5个节点,就可以设置为5,那么这个集群必须有5个节点启动后才会开始数据分片,如果设置为3,就有可能另外两个节点没存储数据分片
network.host 绑定服务的IP地址
transport.tcp.port 内部通信端口
http.port 对外服务端口
path.data 数据存放目录
bootstrap.memory_lock 锁住内存，确保ES不使用swap
bootstrap.system_call_filter        系统调用过滤器，建议禁用该项检查，因为很多检查项需要Linux 3.5以上的内核，否则会报错。
 
# kibana参数
==================================================
SERVER_NAME 节点名称，可显示在X-pack界面
ELASTICSEARCH_URL 指定ES地址
ELASTICSEARCH_USERNAME        ES鉴权用户，若ES开启了X-pack鉴权，则需要配置
ELASTICSEARCH_PASSWORD        ES鉴权密码，同上
XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED 让x-pack支持docker的CPU使用率显示

本文涉及的部分参数简单解释（更多详细解释请咨询搜索引擎）：

二、Docker 资源

1、Docker 私有仓库搭建（针对内网环境）

①、在有外网的服务器 192.168.1.111 上进行如下操作：

#安装docker
yum install -y docker 
systemctl start docker
 
#拉取私有仓库镜像：
docker pull registry
 
#启动仓库
docker run \
--restart=always \
--net=host \
-v /data/images:/tmp/registry \
-dti registry

Ps：若内部没有外网服务器，可以使用离线导出导入（save/load）的方案来做本地仓库，具体参考我之前整理的 Docker 入门教程-->传送门

②、docker 启动后，开始拉取所需镜像：

以下镜像均位于 dockerHub，拉取龟速，这里可以使用阿里云的 dockerHub 加速服务（腾讯云的仅支持腾讯云服务器内网使用）

zookeeper

镜像主页:https://hub.docker.com/_/zookeeper/

# 拉取
docker pull zookeeper
# 推送本地仓库
docker tag zookeeper localhost:5000/zookeeper:latest
docker push localhost:5000/zookeeper:latest

kafka

镜像主页： https://hub.docker.com/r/wurstmeister/kafka/

# 拉取
docker pull wurstmeister/kafka
# 推送本地仓库
docker tag wurstmeister/kafka:latest  localhost:5000/kafka:latest
docker push  localhost:5000/kafka:latest

Elastic

镜像主页：https://www.docker.elastic.co/

# 拉取
docker pull docker.elastic.co/elasticsearch/elasticsearch:5.6.8
docker pull docker.elastic.co/kibana/kibana:5.6.8
docker pull docker.elastic.co/logstash/logstash:5.6.8
 
# 打tag
docker tag docker.elastic.co/elasticsearch/elasticsearch:5.6.8 localhost:5000/elastic/elasticsearch:5.6.8
docker tag docker.elastic.co/kibana/kibana:5.6.8 localhost:5000/elastic/kibana:5.6.8
docker tag docker.elastic.co/logstash/logstash:5.6.8 localhost:5000/elastic/logstash:5.6.8
 
# 推送本地仓库
docker push localhost:5000/elastic/elasticsearch:5.6.8
docker push localhost:5000/elastic/kibana:5.6.8
docker push localhost:5000/elastic/logstash:5.6.8

Ps：6.X 版本强制启用了 content-type 头部请求，比较烦，本文选择 5.X 的最后一个版本，实际使用请自行抉择。

完成以上步骤，我们就在 192.168.1.111 上建立了一个 Docker 私有仓库，地址是 192.168.1.111:5000。

2、所有服务器节点都安装要 docker，并开启私有仓库支持

yum install docker -y

vim /etc/sysconfig/docker 添加兼容私有仓库非 https 协议配置：

OPTIONS='--insecure-registry 192.168.1.111:5000'

启动 Docker：

systemctl start docker
systemctl enable docker

完成这一步之后，Docker 环境已准备完毕。

三、部署 Kafka 集群

Ps：若只是单纯部署 ES 集群，而不需要用到 kafka，可以跳过本步骤

1、部署 zookeeper

①、部署节点 1

# 192.168.1.100
# 创建数据存放目录
mkdir -p /data/zookeeper
# 启动
docker run --name zookeeper \
        --net=host \
  --restart always \
  -v /data/zookeeper:/data/zookeeper \
  -e ZOO_PORT=2181 \
  -e ZOO_DATA_DIR=/data/zookeeper/data \
  -e ZOO_DATA_LOG_DIR=/data/zookeeper/logs \
  -e ZOO_MY_ID=1 \
  -e ZOO_SERVERS="server.1=192.168.1.100:2888:3888 server.2=192.168.1.101:2888:3888 server.3=192.168.1.102:2888:3888" \
  -d 192.168.1.111:5000/zookeeper:latest

②、部署节点 2

# 192.168.1.101
# 创建数据存放目录
mkdir -p /data/zookeeper
# 启动
docker run --name zookeeper \
        --net=host
  --restart always \
  -v /data/zookeeper:/data/zookeeper \
  -e ZOO_PORT=2181 \
  -e ZOO_DATA_DIR=/data/zookeeper/data \
  -e ZOO_DATA_LOG_DIR=/data/zookeeper/logs \
  -e ZOO_MY_ID=2 \
  -e ZOO_SERVERS="server.1=192.168.1.100:2888:3888 server.2=192.168.1.101:2888:3888 server.3=192.168.1.102:2888:3888" \
  -d 192.168.1.111:5000/zookeeper:latest

③、部署节点 3

# 192.168.1.103
# 创建数据存放目录
mkdir -p /data/zookeeper
# 启动
docker run --name zookeeper \
        --net=host \
  --restart always \
  -v /data/zookeeper:/data/zookeeper \
  -e ZOO_PORT=2181 \
  -e ZOO_DATA_DIR=/data/zookeeper/data \
  -e ZOO_DATA_LOG_DIR=/data/zookeeper/logs \
  -e ZOO_MY_ID=3 \
  -e ZOO_SERVERS="server.1=192.168.1.100:2888:3888 server.2=192.168.1.101:2888:3888 server.3=192.168.1.102:2888:3888" \
  -d 192.168.1.111:5000/zookeeper:latest

2、部署 kafka

①、部署节点 1

# 机器有11块盘，这里都用起来
mkdir -p /data{1..11}/kafka
 
# 启动
docker run --name kafka \
        --net=host \
        --volume /data1:/data1 \
        --volume /data2:/data2 \
        --volume /data3:/data3 \
        --volume /data4:/data4 \
        --volume /data5:/data5 \
        --volume /data6:/data6 \
        --volume /data7:/data7 \
        --volume /data8:/data8 \
        --volume /data9:/data9 \
        --volume /data10:/data10 \
        --volume /data11:/data11 \
        -e KAFKA_BROKER_ID=1 \
        -e KAFKA_PORT=9092 \
        -e KAFKA_HEAP_OPTS="-Xms8g -Xmx8g" \
        -e KAFKA_HOST_NAME=192.168.1.100 \
        -e KAFKA_ADVERTISED_HOST_NAME=192.168.1.100 \
       -e KAFKA_LOG_DIRS=/data1
						 技术沙龙 教程文章 热点综合