ELK stack là gì

"ELK" là viết tắt của 3 mã nguồn mở: Elasticsearch, Logstash, and Kibana

Elasticsearch: Cơ sở dữ liệu để lưu trữ, tìm kiếm và query log
Logstash: Tiếp nhận log từ nhiều nguồn, sau đó xử lý log và ghi dữ liệu và Elasticsearch
Kibana: Giao diện để quản lý, thống kê log. Đọc thông tin từ Elasticsearch

Về cơ chế hoạt động bạn có thể xem hình bên dưới

• Đầu tiên thì log sẽ được đưa đến Logstash qua nhiều con đường, từ file, từ beat (Công cụ đọc file của elastic.co)
• Sau đó Logstash sẽ xử lý, và phân loại log rồi đưa đến Elastic Search để lưu trữ
• Kibana sẽ đọc những dữ liệu được lưu trong Elastic Search để hiện thị log

Build ELK stack với docker

• Đầu tiên pull 3 image elk về máy:

  docker pull docker.elastic.co/elasticsearch/elasticsearch:6.2.4 docker pull docker.elastic.co/kibana/kibana:6.2.4 docker pull docker.elastic.co/logstash/logstash:6.2.4 

• Tạo folder có cấu trúc sau:
  

docker-compose.yml

version: '2' services:  elasticsearch:  	container_name: elastic_624    image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4    build: elasticsearch    environment:      ES_JAVA_OPTS: "-Xms1g -Xmx1g"    ports:      - "9203:9200"      - "9302:9300"    volumes:      - ./elasticsearch/config/:/etc/elasticsearch/config/  kibana:    container_name: kibana_624    image: docker.elastic.co/kibana/kibana:6.2.4    build: kibana    ports:      - 5601:5601    volumes:      - ./kibana/config/:/opt/kibana/config/    depends_on:      - elasticsearch  logstash:  	container_name: logstash_624  	image: docker.elastic.co/logstash/logstash:6.2.4  	command: -f /etc/logstash/conf.d/    build:logstash    ports:      - 5000:5000    volumes:      - ./logstash/config:/etc/logstash/conf.d    depends_on:      - elasticsearch 

kibana.yml

server.name: "kibana" server.host: "0.0.0.0" ops.interval: 5000 elasticsearch.url: "[ip_server_here]:9203" xpack.security.enabled: false 

my_config.conf

input {     file {     	path => "your file log"         type => "Name of Log"     } } output {     elasticsearch {      	hosts => ["localhost:9200"]      }     if "INFO" in [message] { 	    email { 	        username => "yourmail@gmail.com" 	        address => "smtp.gmail.com" 	        password => "yourpass" 	        port => 587 	        use_tls => true 	        from => "yourmail@gmail.com" 	        subject => "LOG alert" 	        to => "yourmail@gmail.com" 	        via => "smtp" 	        body => "Here is the event line that occured: %{message}" 	    }     }     stdout { codec => rubydebug } } 

• Run:
  • Trong folder chứa file docker-compose.yml chạy lệnh docker-compose up
  • Chạy thành công sẽ có 3 container như hình bên dưới
    
  • Địa chỉ truy cập vào kibana: your_ip:5601