概述

現(xiàn)在Elasticsearch是比較火的, 很多公司都在用. 而Docker也正如火如荼, 所以我就使用了Docker來安裝ELK, 這里會(huì)詳細(xì)介紹下安裝的細(xì)節(jié)以及需要注意的地方. 先來強(qiáng)調(diào)一下, Elasticsearch和Kibana必須用相同版本, 這個(gè)可以避免很多坑。

日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開發(fā)人員可以通過日志了解服務(wù)器軟硬件信息、檢查配置過程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷，性能安全性，從而及時(shí)采取措施糾正錯(cuò)誤。

開源實(shí)時(shí)日志分析ELK平臺(tái)由ElasticSearch、Logstash和Kiabana三個(gè)開源工具組成：

1）ElasticSearch是一個(gè)基于Lucene的開源分布式搜索服務(wù)器。它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是第二流行的企業(yè)搜索引擎。設(shè)計(jì)用于云計(jì)算中，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定，可靠，快速，安裝使用方便。在elasticsearch中，所有節(jié)點(diǎn)的數(shù)據(jù)是均等的。

2）Logstash是一個(gè)完全開源的工具，它可以對(duì)你的日志進(jìn)行收集、過濾、分析，支持大量的數(shù)據(jù)獲取方法，并將其存儲(chǔ)供以后使用（如搜索）。說到搜索，logstash帶有一個(gè)web界面，搜索和展示所有日志。一般工作方式為c/s架構(gòu)，client端安裝在需要收集日志的主機(jī)上，server端負(fù)責(zé)將收到的各節(jié)點(diǎn)日志進(jìn)行過濾、修改等操作在一并發(fā)往elasticsearch上去。

3）Kibana 是一個(gè)基于瀏覽器頁面的Elasticsearch前端展示工具，也是一個(gè)開源和免費(fèi)的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

ELK工作原理展示圖：

如上圖：Logstash收集AppServer產(chǎn)生的Log，并存放到ElasticSearch集群中，而Kibana則從ES集群中查詢數(shù)據(jù)生成圖表，再返回給Browser。

ELK環(huán)境部署

CentOS7.8系統(tǒng)上安裝docker，并用docker安裝ELK單機(jī)日志手機(jī)系統(tǒng)平臺(tái)。

一、準(zhǔn)備工作

1，系統(tǒng)環(huán)境

系統(tǒng)：CentOS7.8

防火墻：關(guān)閉

Centos7防火墻關(guān)閉方法與Centos6的有所區(qū)別

CentOS6關(guān)閉防火墻使用以下命令：

CentOS7中關(guān)閉防火墻使用以下命令：

selinux：關(guān)閉

selinux關(guān)閉方式有兩種，一種是臨時(shí)關(guān)閉，另一種是永久關(guān)閉。

臨時(shí)關(guān)閉方式：

永久關(guān)閉方式：

編輯配置文件/etc/selinux/config

首先執(zhí)行yum update –y升級(jí)操作系統(tǒng)到最新版本，

[root@docker-srv ~]#cat /etc/redhat-release

CentOS Linux release 7.8.2003 (Core)

配置安裝docker-ce19.03.11的yum源，

yum install –y yum-utils device-mapper-persistent-data lvm2

yum-config-manager \

--add-repo \

https://download./linux/centos/docker-ce.repo

執(zhí)行yum install docker-ce-19.03.11* -y

驗(yàn)證安裝

安裝完成后，運(yùn)行下面的命令，驗(yàn)證是否安裝成功。

docker version 

docker info

 配置docker加速器

vi /etc/docker/daemon.json

systemctl daemon-reload

systemctl restart docker

systemctl enable docker

docker安裝到此結(jié)束！

1,接下來用docker安裝ELK,拉取鏡像：

首先安裝elasticsearch

docker pull elasticsearch:7.6.2

敲完命令后回車, 只需要等鏡像下載完就成了. 一共791MB, 耐心等待.

2，啟動(dòng)ES

安裝完成以后當(dāng)然需要去啟動(dòng)了, 啟動(dòng)也很方便, 只需要一行命令即可.

docker run --name es1 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:7.6.2

啟動(dòng)后可以先查看一下，名稱自定義！

3. 測(cè)試安裝

我們可以去檢查ES是否安裝完成, 可以輸入命令:

curl http://localhost:9200

注意: 需要關(guān)閉防火墻或放行9200端口

安裝Kibana

Kibana是一個(gè)開源的分析和可視化平臺(tái), 被設(shè)計(jì)用于和Elasticsearch一起工作. 我們可以通過Kibana來搜索, 查看, 并和存儲(chǔ)在Elasticsearch索引中的數(shù)據(jù)進(jìn)行交互, 并輕松地執(zhí)行高級(jí)數(shù)據(jù)分析, 以各種圖標(biāo), 表格和地圖的形式可視化數(shù)據(jù).

Kibana使得理解大量數(shù)據(jù)變得很容易. 它簡(jiǎn)單的, 基于瀏覽器的界面使你能夠快速創(chuàng)建和共享動(dòng)態(tài)儀表板, 實(shí)時(shí)顯示Elasticsearch查詢的變化.

1. 拉取鏡像

同樣適用docker安裝Kibana命令如下:

docker pull kibana:7.6.2

這個(gè)比較大, 有1.01GB, 耐心等待…

2. 啟動(dòng)Kibana

安裝完成以后需要啟動(dòng)Kibana容器, 我們需要使用--link參數(shù)將Kibana連接到Elasticsearch容器, 命令如下:

docker run --name kibana --link es1:elasticsearch -p 5601:5601 -d kibana:7.6.2

其中, --link es:elasticsearch中的es是Docker中Elasticsearch容器名, 你也可以替換成對(duì)應(yīng)的容器ID.

3. 配置漢化

默認(rèn)情況下, Kibana界面是英文的, 不過Kibana 7中官方加入了中文的選項(xiàng), 漢化包位置: /usr/share/kibana/x-pack/plugins/translations/translations/zh-CN.json

我們需要進(jìn)入Kibana容器, 編輯/usr/share/kibana/config/kibana.yml文件, 在末尾添加i18n.locale: zh-CN即可. 注意冒號(hào)后一定要有空格!

docker exec -it kibana /bin/bash

cd config/

vi kibana.yml

exit

然后重啟Kibana

docker restart kibana

4. 測(cè)試安裝

啟動(dòng)以后可以打開瀏覽器輸入http://你的IP:5601就可以打開Kibana的界面了. 上圖

ES的其他設(shè)置

在使用Elasticsearch時(shí), 我們還需要進(jìn)行一些設(shè)置. 例如解決跨域訪問和中文分詞.

1. 解決跨域訪問

首先進(jìn)入到ES容器中, 然后進(jìn)入到指定目錄修改elasticsearch.yml文件

docker exec -it es /bin/bash

cd config/

vi elasticsearch.yml

在elasticsearch.yml的文件末尾加上

http.cors.enabled: true

http.cors.allow-origin: "*"

修改配置后重啟容器即可

docker restart es1

2. 安裝IK中文分詞器

ES自帶的分詞器對(duì)中文分詞不友好, 所以我們下載開源的IK分詞器來解決這個(gè)問題. 首先進(jìn)入到plugins目錄中下載分詞器, 下載完成后解壓, 再重啟ES即可. 具體步驟如下:

docker exec -it es /bin/bash

cd plugins/

elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip

exit

Elasticsearch的版本和IK分詞器的版本需要保持一致, 不然在重啟的時(shí)候會(huì)失敗. 可以點(diǎn)擊查看所有版本, 選擇合適的版本右鍵復(fù)制鏈接地址即可.

然后重啟容器, 可以在Kibana界面的dev tools中驗(yàn)證是否安裝成功

安裝elasticsearch head插件監(jiān)控管理

docker pull mobz/elasticsearch-head:5

docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

在瀏覽器中打開elasticsearch-head頁面，填入ElasticSearch地址

安裝filebeat+logstash進(jìn)行日志過濾

在客戶端機(jī)器上面安裝filebeat

配置yum源

cat /etc/yum.repos.d/filebeat.repo

[filebeat]

name=Elasticsearch repository for 7.x packages

baseurl=https://artifacts./packages/7.x/yum

gpgcheck=0

gpgkey=https://artifacts./GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

執(zhí)行yum makecache && yum install filebeat* -y

vi /etc/filebeat/filebeat.yml

systemctl restart filebeat

docker pull logstash:7.6.2

docker run -itd --name logstash -p 5044:5044 -v /etc/logstash/config:/usr/share/logstash/config -v /etc/logstash/pipeline:/usr/share/logstash/pipeline logstash:7.6.2

cat /etc/logstash/config/logstash.conf

最后提醒：線上環(huán)境要求持續(xù)提供服務(wù)，即使在服務(wù)器出現(xiàn)問題時(shí)，及時(shí)修復(fù)及時(shí)提供服務(wù)，比如異常斷電宕機(jī)，或者重啟機(jī)器后，所以需要配置docker及各個(gè)服務(wù)器開機(jī)自動(dòng)啟動(dòng)！

Docker容器啟動(dòng)時(shí)加入--restart=always 就ok啦！

白駒過隙，當(dāng)看到比你優(yōu)秀的人比你還努力的時(shí)候，你也會(huì)越來越優(yōu)秀，相信越努力越幸運(yùn)！