Cách cài đặt Elastic Stack trên Ubuntu 18.04 LTS

[theanh]

Elasticsearch là một công cụ tìm kiếm nguồn mở dựa trên Lucene, được phát triển bằng Java. Nó cung cấp một công cụ tìm kiếm toàn văn phân tán và đa thuê bao với giao diện web Bảng điều khiển HTTP (Kibana). Dữ liệu được truy vấn, truy xuất và lưu trữ trong một lược đồ tài liệu JSON. Elasticsearch là một công cụ tìm kiếm có khả năng mở rộng có thể được sử dụng để tìm kiếm mọi loại tài liệu văn bản, bao gồm cả tệp nhật ký. Elasticsearch là trái tim của 'Elastic Stack' hoặc ELK Stack.

Logstash là một công cụ nguồn mở để quản lý các sự kiện và nhật ký. Nó cung cấp đường ống thời gian thực để thu thập dữ liệu. Logstash sẽ thu thập dữ liệu nhật ký của bạn, chuyển đổi dữ liệu thành tài liệu JSON và lưu trữ chúng trong Elasticsearch.

Kibana là một công cụ trực quan hóa dữ liệu nguồn mở cho Elasticsearch. Kibana cung cấp một giao diện web bảng điều khiển đẹp mắt. Nó cho phép bạn quản lý và trực quan hóa dữ liệu từ Elasticsearch. Nó không chỉ đẹp mà còn mạnh mẽ.

Trong hướng dẫn này, tôi sẽ chỉ cho bạn cách cài đặt và cấu hình Elastic Stack trên máy chủ Ubuntu 18.04 để theo dõi nhật ký máy chủ. Sau đó, tôi sẽ chỉ cho bạn cách cài đặt và cấu hình 'Elastic beats' trên Ubuntu 18.04 và máy chủ khách CentOS 7.

Điều kiện tiên quyết​

• 3 máy chủUbuntu 18.04 với 4GB RAM/bộ nhớ là 'elk-master' - 10.0.15.10
• Ubuntu 18.04 với 512MB/1GB RAM/Bộ nhớ là 'elk-client01' - 10.0.15.21
• CentOS 7.5 với 512MB/1GB RAM/Bộ nhớ là 'elk-client02' - 10.0.15.22

[*] Quyền root

Chúng ta sẽ làm gì?​

1. Cài đặt Elastic StackCài đặt Java
2. Cài đặt và cấu hình ElasticSearch
3. Cài đặt và cấu hình Kibana
4. Cài đặt và cấu hình Nginx làm Proxy ngược cho Kibana
5. Cài đặt và cấu hình Logstash

[*] Cài đặt và cấu hình Filebeat trên Ubuntu 18.04
[*] Cài đặt và cấu hình Filebeat trên CentOS 7.5
[*] Kiểm tra

Bước 1 - Cài đặt Elastic Stack​

Trong bước đầu tiên này, chúng ta sẽ cài đặt và cấu hình 'Elastic Stack' trên máy chủ 'elk-master', vì vậy hãy chạy tất cả các lệnh và giai đoạn cho bước này chỉ trên máy chủ 'elk-master'. Chúng tôi sẽ cài đặt và cấu hình từng thành phần của ngăn xếp đàn hồi, bao gồm Elasticsearch, Logstash shipper và Kibana Dashboard với máy chủ web Nginx.

Cài đặt Java​

Java là bắt buộc để triển khai ngăn xếp Đàn hồi. Elasticsearch yêu cầu Java 8. Nên sử dụng Oracle JDK 1.8 và chúng tôi sẽ cài đặt Java 8 từ kho lưu trữ PPA.

Cài đặt các gói 'software-properties-common' và 'apt-transport-https', sau đó thêm kho lưu trữ Java 'webupd8team' của PPA. Chạy lệnh 'apt install' và 'add-apt-repository' bên dưới.

sudo apt install software-properties-common apt-transport-https -y
sudo add-apt-repository ppa:webupd8team/java -y

Bây giờ hãy cài đặt java8-installer.

sudo apt install oracle-java8-installer -y

Sau khi cài đặt hoàn tất, hãy kiểm tra phiên bản java.

java -version

Java 1.8 đã được cài đặt trên hệ thống.

Tiếp theo, chúng ta sẽ cấu hình môi trường java. Kiểm tra tệp nhị phân java bằng lệnh bên dưới.

update-alternatives --config java

Và bạn sẽ nhận được tệp nhị phân java trong thư mục '/usr/lib/jvm/java-8-oracle'.

Bây giờ hãy tạo tệp hồ sơ 'java.sh' trong thư mục 'profile.d'.

vim /etc/profile.d/java.sh

Dán cấu hình môi trường java bên dưới.

#Set JAVA_HOMEJAVA_HOME="/usr/lib/jvm/java-8-oracle"export JAVA_HOMEPATH=$PATH:$JAVA_HOMEexport PATH

Lưu và thoát.

Làm cho tệp có thể thực thi và tải tệp cấu hình.

chmod +x /etc/profile.d/java.sh
source /etc/profile.d/java.sh

Bây giờ hãy kiểm tra môi trường java bằng lệnh bên dưới.

echo $JAVA_HOME

Và bạn sẽ thấy thư mục java nằm ở thư mục '/usr/lib/jvm/java-8-oracle'.

Cài đặt Elasticsearch​

Sau khi cài đặt Java, chúng ta sẽ cài đặt thành phần đầu tiên của Elastic Stack, chúng ta sẽ cài đặt elasticsearch.

Thêm khóa elastic stack và thêm kho lưu trữ elastic vào hệ thống.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/6.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list

Bây giờ hãy cập nhật kho lưu trữ và cài đặt gói elasticsearch bằng lệnh bên dưới.

sudo apt update
sudo apt install elasticsearch -y

Sau khi cài đặt hoàn tất, hãy vào thư mục '/etc/elasticsearch' và chỉnh sửa tệp cấu hình 'elasticsearch.yml'.

cd /etc/elasticsearch/
vim elasticsearch.yml

Bỏ ghi chú dòng 'network.host' và thay đổi giá trị thành 'localhost', đồng thời bỏ ghi chú dòng 'http.port' để cấu hình cổng elasticsearch.

network.host: localhosthttp.port: 9200

Lưu và thoát.

Bây giờ hãy khởi động dịch vụ elasticsearch và cho phép dịch vụ này khởi chạy mỗi khi khởi động hệ thống.

systemctl start elasticsearch
systemctl enable elasticsearch

Elasticsearch hiện đã hoạt động, hãy kiểm tra bằng lệnh netstat netstat và lệnh curl bên dưới.

netstat -plntu
curl -XGET 'localhost:9200/?pretty'

Bây giờ bạn sẽ thấy phiên bản elasticsearch '6.2.4' đang chạy trên cổng mặc định '9200'.



Quá trình cài đặt elasticsearch đã hoàn tất.

Cài đặt và cấu hình Kibana Dashboard​

Thành phần thứ hai là Kibana Dashboard. Chúng tôi sẽ cài đặt bảng điều khiển Kibana từ kho lưu trữ đàn hồi và cấu hình dịch vụ kibana để chạy trên địa chỉ máy chủ cục bộ.

Cài đặt bảng điều khiển Kibana bằng lệnh apt bên dưới.

sudo apt install kibana -y

Bây giờ hãy vào thư mục '/etc/kibana' và chỉnh sửa tệp cấu hình 'kibana.yml'.

cd /etc/kibana/
vim kibana.yml

Bỏ chú thích các dòng 'server.port', 'server.host' và 'elasticsearch.url'.

server.port: 5601server.host: "localhost"elasticsearch.url: "http://localhost:9200"

Lưu và thoát.

Bây giờ hãy khởi động dịch vụ kibana và cho phép nó khởi chạy mọi lúc khi khởi động hệ thống.

sudo systemctl enable kibana
sudo systemctl start kibana

Bảng điều khiển kibana hiện đã hoạt động trên địa chỉ 'localhost' và cổng mặc định '5601'. Kiểm tra bằng lệnh netstat bên dưới.

netstat -plntu

Quá trình cài đặt bảng điều khiển Kibana đã hoàn tất.

Cài đặt và cấu hình Nginx làm Proxy ngược cho Kibana​

Trong hướng dẫn này, chúng ta sẽ sử dụng máy chủ web Nginx làm proxy ngược cho Bảng điều khiển Kibana.

Cài đặt Nginx và các gói 'apache2-utils' vào hệ thống.

sudo apt install nginx apache2-utils -y

Sau khi quá trình cài đặt hoàn tất, hãy vào thư mục cấu hình '/etc/nginx' và tạo tệp máy chủ ảo mới có tên là 'kibana'.

cd /etc/nginx/
vim sites-available/kibana

Dán cấu hình máy chủ ảo Nginx bên dưới.

server { listen 80; server_name elastic-stack.io; auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/.kibana-user; location / { proxy_pass http://localhost:5601; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection 'upgrade'; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; }}

Lưu và thoát.

Tiếp theo, chúng ta sẽ tạo máy chủ web xác thực cơ bản mới để truy cập bảng điều khiển Kibana. Chúng ta sẽ tạo xác thực cơ bản bằng lệnh htpasswd như bên dưới.

sudo htpasswd -c /etc/nginx/.kibana-user elastic
Nhập mật khẩu người dùng elastic

Kích hoạt máy chủ ảo kibana và kiểm tra tất cả cấu hình nginx.

ln -s /etc/nginx/sites-available/kibana /etc/nginx/sites-enabled/
nginx -t

Đảm bảo không có lỗi, bây giờ hãy khởi động dịch vụ Nginx và cho phép nó khởi chạy mọi lúc khi khởi động hệ thống.

systemctl enable nginx
systemctl restart nginx

Quá trình cài đặt và cấu hình Nginx dưới dạng Reverse-proxy cho bảng điều khiển Kibana đã hoàn tất.

Cài đặt và cấu hình Logstash​

Thành phần cuối cùng của Elastic Stack trong hướng dẫn này là 'Logstash'. Chúng ta sẽ cài đặt và cấu hình Logsatash để tập trung nhật ký máy chủ từ các nguồn máy khách bằng filebeat, sau đó lọc và chuyển đổi tất cả dữ liệu (Syslog) và chuyển dữ liệu đó đến stash (Elasticsearch).

Trước khi cài đặt logstash, hãy đảm bảo bạn kiểm tra Phiên bản OpenSSL trên máy chủ của mình.

openssl version -a

Đối với hướng dẫn này, chúng ta sẽ sử dụng OpenSSL '1.0.2o'. Nếu bạn vẫn đang sử dụng OpenSSL phiên bản 1.1.2, bạn sẽ gặp lỗi tại kết nối SSL logstash và filebeat.

Cài đặt logstash bằng lệnh apt bên dưới.

sudo apt install logstash -y

Sau khi cài đặt hoàn tất, chúng tôi sẽ tạo khóa chứng chỉ SSL để bảo mật việc truyền dữ liệu nhật ký từ máy khách filebeat đến máy chủ logstash.

Chỉnh sửa tệp '/etc/hosts' bằng vim.

vim /etc/hosts

Thêm cấu hình bên dưới.

10.0.15.10 elk-master elk-master

Lưu và thoát.

Bây giờ hãy tạo thư mục SSL mới trong thư mục cấu hình logstash '/etc/logstash' và đi đến thư mục đó.

mkdir -p /etc/logstash/ssl
cd /etc/logstash/

Tạo chứng chỉ SSL cho Logstash bằng lệnh openssl như bên dưới.

openssl req -subj '/CN=elk-master/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout ssl/logstash-forwarder.key -out ssl/logstash-forwarder.crt

Các tệp chứng chỉ SSL cho Logstash đã được tạo trong thư mục '/etc/logstash/ssl'.

Tiếp theo, chúng ta sẽ tạo các tệp cấu hình mới cho logstash. Chúng ta sẽ tạo tệp cấu hình 'filebeat-input.conf' làm tệp đầu vào từ filebeat, 'syslog-filter.conf' để xử lý syslog và sau đó là tệp 'output-elasticsearch.conf' để xác định đầu ra của Elasticsearch.

Đi tới thư mục cấu hình logstash và tạo các tệp cấu hình mới 'filebeat-input.conf' trong thư mục 'conf.d'.

cd /etc/logstash/
vim conf.d/filebeat-input.conf

Dán cấu hình sau vào đó.

input { beats { port => 5443 type => syslog ssl => true ssl_certificate => "/etc/logstash/ssl/logstash-forwarder.crt" ssl_key => "/etc/logstash/ssl/logstash-forwarder.key" }}

Lưu và thoát.

Đối với dữ liệu nhật ký xử lý syslog, chúng tôi đang sử dụng plugin bộ lọc có tên là 'grok' để phân tích các tệp syslog.

Tạo cấu hình mới 'syslog-filter.conf'.

vim conf.d/syslog-filter.conf

Dán cấu hình sau vào đó.

filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" } add_field => [ "đã nhận tại", "%{@timestamp}" ] add_field => [ "đã nhận từ", "%{host}" ] } ngày { khớp => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] } }}

Lưu và thoát.

Và đối với đầu ra của elasticsearch, chúng ta sẽ tạo tệp cấu hình có tên là 'output-elasticsearch.conf'.

vim conf.d/output-elasticsearch.conf

Dán cấu hình sau vào đó.

output { elasticsearch { hosts => ["localhost:9200"] hosts => "localhost:9200" manage_template => false index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" }}

Lưu và thoát.

Khi hoàn tất, hãy khởi động dịch vụ logstash và cho phép dịch vụ này khởi chạy mọi lúc khi khởi động hệ thống.

sudo systemctl enable logstash
sudo systemctl start logstash

Kiểm tra dịch vụ logstash bằng lệnh netstat và systemctl bên dưới.

netstat -plntu
systemctl status logstash

Và dịch vụ logstash hiện đã hoạt động. Chạy trên địa chỉ IP công cộng với cổng '5443'.



Quá trình cài đặt Elastic Stack đã hoàn tất.

Bước 2 - Cài đặt và cấu hình Filebeat trên Ubuntu 18.04​

Trong bước này, chúng ta sẽ cấu hình máy khách Ubuntu 18.04 'elk-client01' bằng cách cài đặt trình chuyển dữ liệu Elastic Beats 'Filebeat' trên đó.

Trước khi cài đặt filebeat vào hệ thống, chúng ta cần chỉnh sửa '/etc/hosts' và tải xuống tệp chứng chỉ logstash 'logstash-forwarder.crt' vào máy chủ 'elk-client01'.

Chỉnh sửa tệp '/etc/hosts' bằng trình soạn thảo vim.

vim /etc/hosts

Dán cấu hình sau ở đó.

10.0.15.10 elk-master elk-master

Lưu và thoát.

Sao chép tệp chứng chỉ logstash 'logstash-forwarder.crt' bằng lệnh scp.

scp root@elk-master:/etc/logstash/ssl/logstash-forwarder.crt .

Tiếp theo, cài đặt 'Filebeat' của Elastic Beats bằng cách thêm khóa elastic và thêm kho lưu trữ elastic.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/6.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list

Cập nhật kho lưu trữ và cài đặt gói 'filebeat' bằng lệnh apt bên dưới.

sudo apt update
sudo apt install filebeat -y

Sau khi cài đặt hoàn tất, hãy vào thư mục '/etc/filebeat' và chỉnh sửa tệp cấu hình 'filebeat.yml'.

cd /etc/filebeat/
vim filebeat.yml

Bây giờ hãy bật trình thăm dò filebeat bằng cách thay đổi giá trị dòng 'enabled' thành 'true'.

enabled: true

Xác định các tệp nhật ký hệ thống sẽ được gửi đến máy chủ logstash. Đối với hướng dẫn này, chúng ta sẽ thêm tệp nhật ký ssh 'auth.log' và tệp syslog.

đường dẫn: - /var/log/auth.log - /var/log/syslog

Thiết lập đầu ra cho logstash bằng cách bình luận đầu ra 'elasticsearch' mặc định và bỏ bình luận dòng đầu ra logstash như bên dưới.

output.logstash: # Máy chủ Logstash hosts: ["elk-master:5443"] ssl.certificate_authorities: ["/etc/filebeat/logstash-forwarder.crt"]

Lưu và thoát.

Tiếp theo, chúng ta cần chỉnh sửa tệp 'filebeat.reference.yml' để bật các mô-đun filebeat và chúng ta sẽ bật mô-đun 'syslog'.

vim filebeat.reference.yml

Bật mô-đun hệ thống syslog cho filebeat như bên dưới.

- module: system # Syslog syslog: enabled: true

Lưu và thoát.

Sao chép tệp chứng chỉ logstash 'logstash-forwarder.crt' vào thư mục '/etc/filebeat'.

cp ~/logstash-forwarder.crt /etc/filebeat/logstash-forwarder.crt

Cài đặt và cấu hình Filebeat đã hoàn tất. Bây giờ hãy khởi động dịch vụ filebeat và cho phép nó khởi chạy mỗi lần khởi động hệ thống.

systemctl start filebeat
systemctl enable filebeat

Kiểm tra dịch vụ filebeat bằng các lệnh bên dưới.

systemctl status filebeat
tail -f /var/log/filebeat/filebeat

Các filebeat shipper đang hoạt động trên máy chủ Ubuntu 18.04.

Bước 3 - Cài đặt và cấu hình Filebeat trên CentOS 7.5​

Trong bước này, chúng ta sẽ cấu hình máy khách CentOS 7.5 'elk-client02' bằng cách cài đặt các data shipper Elastic Beats 'Filebeat' trên đó.

Trước khi cài đặt Filebeat vào hệ thống, chúng ta cần chỉnh sửa '/etc/hosts' và tải xuống tệp chứng chỉ logstash 'logstash-forwarder.crt' vào máy chủ 'elk-client02'.

Chỉnh sửa tệp '/etc/hosts' bằng vim.

vim /etc/hosts

Dán cấu hình bên dưới.

10.0.15.10 elk-master elk-master

Lưu và thoát.

Sao chép tệp chứng chỉ logstash 'logstash-forwarder.crt' bằng lệnh scp.

scp root@elk-master:/etc/logstash/ssl/logstash-forwarder.crt .

Tiếp theo, cài đặt 'Filebeat' của Elastic Beats bằng cách thêm khóa elastic và thêm kho lưu trữ elastic.

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
 
mèo