Cách cài đặt và cấu hình hệ thống giám sát Graphite trên Ubuntu 22.04

[theanh]

Graphite là một công cụ mã nguồn mở được sử dụng để theo dõi và biểu đồ hiệu suất của các hệ thống máy tính. Bạn có thể sử dụng công cụ này để theo dõi hiệu suất của các trang web, ứng dụng, dịch vụ kinh doanh và máy chủ được kết nối mạng. Công cụ này rất linh hoạt và có thể được cấu hình để bạn có thể tận dụng lợi ích của cả biểu diễn chi tiết và tổng quan chung về hiệu suất và tình trạng của các số liệu mà bạn đang theo dõi.

Graphite được tạo thành từ một số thành phần: ứng dụng web, một backend lưu trữ có tên là Carbon và thư viện cơ sở dữ liệu có tên là whisper. Trong hướng dẫn này, bạn sẽ học cách cài đặt và cấu hình Graphite trên máy chủ Ubuntu 22.04.

Điều kiện tiên quyết​

• 
  Một máy chủ chạy Ubuntu 22.04.
  
• 
  Một tên miền đủ điều kiện (FQDN) trỏ đến máy chủ. Đối với hướng dẫn này, chúng tôi sẽ sử dụng miền graphite.example.com.
  
• 
  Người dùng không phải root có quyền sudo.
  
• 
  Tường lửa đơn giản (UFW) được bật và đang chạy.
  
• 
  Đảm bảo mọi thứ đã được cập nhật.

$ sudo apt update && sudo apt upgrade

[*]
Cài đặt các gói tiện ích cơ bản. Một số trong số chúng có thể đã được cài đặt.

$ sudo apt install wget curl nano unzip -y

Bước 1 - Cấu hình Tường lửa​

Trước khi cài đặt bất kỳ gói nào, bước đầu tiên là cấu hình tường lửa để cho phép kết nối HTTP và HTTPS.

Kiểm tra trạng thái của tường lửa.

$ sudo ufw status

Bạn sẽ thấy nội dung tương tự như sau.

Trạng thái: activeTo Action From-- ------ ----OpenSSH ALLOW AnywhereOpenSSH (v6) ALLOW Anywhere (v6)

Cho phép cổng HTTP và HTTPs.

$ sudo ufw allow http$ sudo ufw allow https

Kiểm tra lại trạng thái để xác nhận.

$ sudo ufw statusTrạng thái: activeĐến Hành động Từ-- ------ ----OpenSSH ALLOW Anywhere80/tcp ALLOW Anywhere443 ALLOW AnywhereOpenSSH (v6) ALLOW Anywhere (v6)80/tcp (v6) ALLOW Anywhere (v6)443 (v6) ALLOW Anywhere (v6)

Bước 2 - Cài đặt các gói bắt buộc​

Chúng tôi sẽ cài đặt Graphite bằng trình quản lý gói Python PIP. Bước đầu tiên là cài đặt các gói cần thiết cho quá trình cài đặt.

$ sudo apt install vim python3-dev python3-pip libcairo2-dev libffi-dev build-essential

Bước 3 - Cài đặt Graphite và Graphite Web​

Chúng ta sẽ cài đặt Graphite trong thư mục /opt/graphite.

$ export PYTHONPATH="/opt/graphite/lib/:/opt/graphite/webapp/"$ sudo pip install --no-binary=:all: https://github.com/graphite-project/whisper/tarball/master$ sudo pip install --no-binary=:all: https://github.com/graphite-project/carbon/tarball/master$ sudo pip install --no-binary=:all: https://github.com/graphite-project/graphite-web/tarball/master

Bước 4 - Cài đặt và cấu hình PostgreSQL​

Chúng tôi sẽ sử dụng kho lưu trữ APT chính thức của PostgreSQL để cài đặt. Chạy lệnh sau để thêm khóa GPG của PostgreSQL.

$ curl https://www.postgresql.org/media/keys/ACCC4CF8.asc | gpg --dearmor | sudo tee /usr/share/keyrings/postgresql-key.gpg >/dev/null

Thêm kho lưu trữ APT vào danh sách nguồn của bạn.

$ sudo sh -c 'echo "deb [signed-by=/usr/share/keyrings/postgresql-key.gpg arch=amd64] http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

Cập nhật kho lưu trữ hệ thống.

$ sudo apt update

Bây giờ, bạn có thể cài đặt PostgreSQL và các gói trợ giúp bằng lệnh sau.

$ sudo apt install postgresql postgresql-contrib libpq-dev

Kiểm tra trạng thái của dịch vụ PostgreSQL.

$ sudo systemctl status postgresql? postgresql.service - PostgreSQL RDBMS Đã tải: đã tải (/lib/systemd/system/postgresql.service; đã bật; cài đặt trước của nhà cung cấp: đã bật) Đang hoạt động: đang hoạt động (đã thoát) kể từ Thứ Ba 2022-09-27 10:09:35 UTC; 4 giây trước Tiến trình: 4456 ExecStart=/bin/true (code=exited, status=0/SUCCESS) PID chính: 4456 (code=exited, status=0/SUCCESS) CPU: 1ms27/9 10:09:35 matrix systemd[1]: Đang khởi động PostgreSQL RDBMS...27/9 10:09:35 matrix systemd[1]: Đã hoàn tất PostgreSQL RDBMS.

Bạn có thể thấy rằng dịch vụ được bật và đang chạy theo mặc định.

Đăng nhập vào shell PostgreSQL.

$ sudo -su postgres psql

Tạo người dùng cơ sở dữ liệu cho Graphite.

postgres=# CREATE USER graphite WITH PASSWORD 'your_password';

Tạo cơ sở dữ liệu cho Graphite và cấp quyền sở hữu cho người dùng graphite.

postgres=# CREATE DATABASE graphitedb WITH OWNER graphite;

Thoát khỏi shell PostgreSQL.

postgres=# \q

Bước 5 - Cấu hình Graphite Carbon và Web​

Bước tiếp theo là cấu hình Graphite Carbon và Graphite web.

Cấu hình Carbon​

Carbon bao gồm ba dịch vụ:

• carbon-cache: chấp nhận số liệu và ghi chúng vào đĩa.
• carbon-relay: sao chép dữ liệu.
• carbon-aggregator: chạy trước dịch vụ carbon-cache để đệm số liệu theo thời gian trước khi chuyển tiếp chúng vào Whisper.

Cấu hình carbon-cache là cần thiết, nhưng carbon-relay và carbon-aggregator là tùy chọn.

Tạo tệp carbon.conf bằng tệp ví dụ đã cho.

$ sudo cp /opt/graphite/conf/carbon.conf.example /opt/graphite/conf/carbon.conf

Tiếp theo, tạo cấu hình lược đồ lưu trữ.

$ sudo cp /opt/graphite/conf/storage-schemas.conf.example /opt/graphite/conf/storage-schemas.conf

Mở tệp cấu hình lược đồ lưu trữ.

$ sudo nano /opt/graphite/conf/storage-schemas.conf

Bên trong, bạn sẽ tìm thấy các mục như

[carbon]pattern = ^carbon\.retentions = 60:90d

Điều này ngụ ý một mẫu khớp với biểu thức chính quy ^carbon\. sẽ giữ lại dữ liệu với chính sách giữ lại 60:90d, nghĩa là

• tần suất ghi lại số liệu: 60 giây
• thời gian lưu trữ các giá trị đó: 90 ngày

Bạn có thể thêm mục nhập của riêng mình. Hãy lấy ví dụ test tức là giám sát các điểm dữ liệu và các mục nhập điểm dữ liệu của chúng ta sẽ bắt đầu bằng chuỗi test. Mục nhập này phải được thêm trước mục nhập mặc định được đề cập ở cuối tệp.

[test]pattern = ^test\.retentions = 10s:10m,1m:1h

Điều này sẽ khớp với bất kỳ số liệu nào bắt đầu bằng test. Nó sẽ lưu trữ dữ liệu thu thập được hai lần, với các chi tiết khác nhau. Định nghĩa đầu tiên (1s:10m) sẽ tạo một điểm dữ liệu sau mỗi mười giây. Nó sẽ chỉ lưu trữ dữ liệu trong mười phút. Định nghĩa thứ hai sẽ tạo một điểm dữ liệu sau mỗi phút. Nó sẽ thu thập tất cả dữ liệu từ phút trước (sáu điểm, vì định nghĩa trước tạo một điểm sau mỗi mười giây) và tổng hợp để tạo điểm. Nó lưu trữ dữ liệu ở mức chi tiết này trong một giờ.

Lưu tệp bằng cách nhấn Ctrl + X và nhập Y khi được nhắc.

Khởi động dịch vụ carbon-cache.

$ sudo /opt/graphite/bin/carbon-cache.py start

Cấu hình Graphite Web​

Bước tiếp theo là cấu hình ứng dụng web Graphite.

Tạo khóa bí mật cho ứng dụng Graphite. Sao chép khóa được hiển thị để sử dụng sau.

$ python3 -c 'from django.core.management.utils import get_random_secret_key; print(get_random_secret_key())'sp%71)6b$%^bc(7xpz1d!)x3(azog01&k^8l02*!y0#)72p07y

Tạo tệp cài đặt ứng dụng web.

$ sudo cp /opt/graphite/webapp/graphite/local_settings.py.example /opt/graphite/webapp/graphite/local_settings.py

Bạn cần cấu hình ứng dụng web Graphite bằng cài đặt cơ sở dữ liệu. Mở local_settings.py để chỉnh sửa.

$ sudo nano /opt/graphite/webapp/graphite/local_settings.py

Bỏ ghi chú cho biến SECRET_KEY và nhập giá trị ngẫu nhiên cho biến đó.

SECRET_KEY = 'your-secret-key'

Bỏ ghi chú cho biến ALLOWED_HOSTS.

ALLOWED_HOSTS = [ '*' ]

Bỏ ghi chú cho biến TIME_ZONE và đặt thành giá trị phù hợp.

TIME_ZONE = 'Asia/Kolkata'

Bỏ ghi chú cho biến USE_REMOTE_USER_AUTHENTICATION và đặt thành TRUE để người dùng từ xa được xác thực trước khi thực hiện bất kỳ thay đổi nào cho cơ sở dữ liệu.

USE_REMOTE_USER_AUTHENTICATION = True

Thay đổi cài đặt cơ sở dữ liệu.

DATABASES = { 'default': { 'NAME': 'graphitedb', 'ENGINE': 'django.db.backends.postgresql_psycopg2', 'USER': 'graphite', 'PASSWORD': 'your_password', 'HOST': '127.0.0.1', 'PORT': '' }}

Lưu tệp bằng cách nhấn Ctrl + X và nhập Y khi được nhắc.

Cài đặt một số điều kiện tiên quyết cho trình bao bọc PostgreSQL của Python.

$ sudo pip install psycopg2-binary

Chạy lệnh sau để nhập lược đồ cơ sở dữ liệu.

$ sudo PYTHONPATH=/opt/graphite/webapp/ django-admin.py migrate --settings=graphite.settings

Bạn sẽ nhận được kết quả sau.

Các thao tác cần thực hiện: Áp dụng tất cả các lần di chuyển: account, admin, auth, contenttypes, dashboard, events, sessions, tagging, tags, url_shortenerĐang chạy các lần di chuyển: Applying contenttypes.0001_initial... OK Applying auth.0001_initial... OK Applying account.0001_initial... OK Applying admin.0001_initial... OK Applying admin.0002_logentry_remove_auto_add... OK Applying admin.0003_logentry_add_action_flag_choices... OK Đang áp dụng contenttypes.0002_remove_content_type_name... OK Đang áp dụng auth.0002_alter_permission_name_max_length... OK Đang áp dụng auth.0003_alter_user_email_max_length... OK Đang áp dụng auth.0004_alter_user_username_opts... OK Đang áp dụng auth.0005_alter_user_last_login_null... OK Đang áp dụng auth.0006_require_contenttypes_0002... OK Đang áp dụng auth.0007_alter_validators_add_error_messages... OK Đang áp dụng auth.0008_alter_user_username_max_length... OK Đang áp dụng auth.0009_alter_user_last_name_max_length... OK Đang áp dụng auth.0010_alter_group_name_max_length... OK Đang áp dụng auth.0011_update_proxy_permissions... OK Đang áp dụng auth.0012_alter_user_first_name_max_length... OK Đang áp dụng dashboard.0001_initial... OK Đang áp dụng events.0001_initial... OK Đang áp dụng sessions.0001_initial... OK Đang áp dụng tagging.0001_initial... OK Đang áp dụng tagging.0002_on_delete... OK Đang áp dụng tags.0001_initial... OK Đang áp dụng url_shortener.0001_initial... OK

Tiếp theo, thu thập các tệp tĩnh.

$ sudo PYTHONPATH=/opt/graphite/webapp/ django-admin.py collectstatic --settings=graphite.settings

Đặt cài đặt quyền sở hữu chính xác.

$ sudo chown -R www-data:www-data /opt/graphite/storage/$ sudo chown -R www-data:www-data /opt/graphite/static/$ sudo chown -R www-data:www-data /opt/graphite/webapp/

Tạo người dùng root để đăng nhập.

$ sudo PYTHONPATH=/opt/graphite/webapp/ django-admin.py createsuperuser --settings=graphite.settingsTên người dùng (để trống để sử dụng 'root'): navjotĐịa chỉ email: [emailprotected]Mật khẩu:Mật khẩu (lặp lại):Siêu người dùng đã được tạo thành công.

Bạn sẽ được yêu cầu tạo siêu người dùng. Người dùng này sẽ được sử dụng sau để kết nối với ứng dụng Graphite.

Bước 6 - Cấu hình Apache​

Theo mặc định, Graphite được cung cấp kèm theo các tệp cấu hình Apache. Cài đặt máy chủ Apache.

$ sudo apt install apache2 libapache2-mod-wsgi-py3

Tạo tệp mod_wsgi.

$ sudo cp /opt/graphite/conf/graphite.wsgi.example /opt/graphite/conf/graphite.wsgi

Sao chép tệp cấu hình ví dụ graphite vào vị trí Apache.

$ sudo cp /opt/graphite/examples/example-graphite-vhost.conf /etc/apache2/sites-available/graphite.conf

Mở tệp cấu hình Graphite để chỉnh sửa.

$ sudo nano /etc/apache2/sites-available/graphite.conf

Thay đổi số cổng ở dòng đầu tiên từ 80 thành 127.0.0.1:8080. Đặt 127.0.0.1 trước nó sẽ hạn chế khả năng truy cập nó qua web.

Thêm tên miền của bạn.

ServerName graphite.example.com #Thay thế bằng tên miền của bạn

Thêm các dòng sau bên dưới dòng Alias /static/ /opt/graphite/static/.

#Thêm các dòng bên dưới Yêu cầu tất cả đã được cấp

Lưu tệp bằng cách nhấn Ctrl + X và nhập Y khi được nhắc.

Vô hiệu hóa máy chủ ảo mặc định và bật tệp máy chủ ảo Graphite.

$ sudo a2dissite 000-default$ sudo a2ensite graphite

Chúng ta cũng cần yêu cầu Apache lắng nghe cổng 8080 và dừng lắng nghe cổng 80 vì chúng ta sẽ sử dụng Nginx làm máy chủ proxy.

Mở tệp /etc/apache2/ports.conf để chỉnh sửa.

$ sudo nano /etc/apache2/ports.conf

Tìm dòng Listen 80 và thay thế bằng dòng sau.

Listen 127.0.0.1:8080

Lưu tệp bằng cách nhấn Ctrl + X và nhập Y khi được nhắc.

Khởi động lại máy chủ Apache.

$ sudo systemctl restart apache2

Để xác minh rằng Graphite đang hoạt động bình thường và có thể truy cập được, hãy chạy lệnh sau.

$ curl 127.0.0.1:8080

Bạn sẽ nhận được kết quả sau.

  Graphite Browser

Điều này xác nhận rằng nó hoạt động tốt.

Bước 7 - Cài đặt Nginx​

Chúng tôi sẽ sử dụng Nginx làm máy chủ proxy cho Apache. Bằng cách này, chúng ta có thể tận dụng lợi ích của bảo mật và sự mơ hồ trong khi vẫn sử dụng cấu hình hiện có do Graphite cung cấp.

Ubuntu 22.04 đi kèm với phiên bản Nginx cũ hơn. Để cài đặt phiên bản mới nhất, bạn cần tải xuống kho lưu trữ Nginx chính thức.

Nhập khóa ký của Nginx.

$ curl https://nginx.org/keys/nginx_signing.key | gpg --dearmor \| sudo tee /usr/share/keyrings/nginx-archive-keyring.gpg >/dev/null

Thêm kho lưu trữ cho phiên bản ổn định của Nginx.

$ echo "deb [signed-by=/usr/share/keyrings/nginx-archive-keyring.gpg arch=amd64] \http://nginx.org/packages/ubuntu `lsb_release -cs` nginx" \| sudo tee /etc/apt/sources.list.d/nginx.list

Cập nhật kho lưu trữ hệ thống.

$ sudo apt update

Cài đặt Nginx.

$ sudo apt install nginx

Xác minh cài đặt.

$ nginx -vphiên bản nginx: nginx/1.22.0

Khởi động máy chủ Nginx.

$ sudo systemctl start nginx

Bước 8 - Cài đặt SSL​

Chúng ta cần cài đặt Certbot để tạo chứng chỉ SSL. Bạn có thể cài đặt Certbot bằng kho lưu trữ của Ubuntu hoặc lấy phiên bản mới nhất bằng công cụ Snapd. Chúng ta sẽ sử dụng phiên bản Snapd.

Ubuntu 22.04 đi kèm với Snapd được cài đặt theo mặc định. Chạy các lệnh sau để đảm bảo phiên bản Snapd của bạn được cập nhật.

$ sudo snap install core$ sudo snap refresh core

Cài đặt Certbot.

$ sudo snap install --classic certbot

Sử dụng lệnh sau để đảm bảo lệnh Certbot có thể chạy được bằng cách tạo liên kết tượng trưng đến thư mục /usr/bin.

$ sudo ln -s /snap/bin/certbot /usr/bin/certbot

Chạy lệnh sau để tạo Chứng chỉ SSL.

$ sudo certbot certonly --nginx --agree-tos --no-eff-email --staple-ocsp --preferred-challenges http -m [emailprotected] -d graphite.example.com

Lệnh trên sẽ tải xuống chứng chỉ vào Thư mục /etc/letsencrypt/live/graphite.example.com trên máy chủ của bạn.

Tạo chứng chỉ nhóm Diffie-Hellman.

$ sudo openssl dhparam -dsaparam -out /etc/ssl/certs/dhparam.pem 4096

Kiểm tra dịch vụ lập lịch gia hạn Certbot.

$ sudo systemctl list-timers

Bạn sẽ thấy snap.certbot.renew.service là một trong những dịch vụ được lên lịch chạy.

TIẾP THEO TRÁI ĐƠN VỊ CUỐI CÙNG ĐƯỢC KÍCH HOẠT.................................................................................................................................Thứ tư 2022-09-28 00:00:00 UTC Còn 7 giờ Thứ ba 2022-09-27 00:00:01 UTC 16 giờ trước logrotate.timer logrotate.serviceWed 2022-09-28 02:39:09 UTC Còn 10 giờ nữa Tue 2022-09-27 09:42:42 UTC 6 giờ trước apt-daily.timer apt-daily.serviceWed 2022-09-28 06:02:00 UTC Còn 13 giờ nữa n/a n/a snap.certbot.renew.timer snap.certbot.renew.service

Để kiểm tra xem quá trình gia hạn SSL có hoạt động tốt không, hãy chạy thử quy trình.

$ sudo certbot renew --dry-run

Nếu bạn không thấy lỗi nào, bạn đã hoàn tất. Chứng chỉ của bạn sẽ tự động gia hạn.

Bước 9 - Cấu hình Nginx​

Mở tệp /etc/nginx/nginx.conf để chỉnh sửa.

$ sudo nano /etc/nginx/nginx.conf

Thêm dòng sau trước dòng include /etc/nginx/conf.d/*.conf;.

server_names_hash_bucket_size 64;

Lưu tệp bằng cách nhấn Ctrl + X và nhập Y khi được nhắc.

Tạo và mở tệp /etc/nginx/conf.d/uvdesk.conf để chỉnh sửa.

$ sudo nano /etc/nginx/conf.d/graphite.conf

Dán mã sau vào đó.

server { listen 443 ssl http2; listen [::]:443 ssl http2; server_name graphite.example.com; access_log /var/log/nginx/graphite.access.log; error_log /var/log/nginx/graphite.error.log; # SSL ssl_certificate /etc/letsencrypt/live/graphite.example.com/fullchain.pem; ssl_certificate_key /etc/letsencrypt/live/graphite.example.com/privkey.pem; ssl_trusted_certificate /etc/letsencrypt/live/graphite.example.com/chain.pem; ssl_session_timeout 5 phút; ssl_session_cache shared:MozSSL:10 phút; ssl_session_tickets tắt; ssl_protocols TLSv1.2 TLSv1.3; ssl_prefer_server_ciphers bật; ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384; ssl_ecdh_curve X25519:prime256v1:secp384r1:secp521r1; ssl_stapling bật; ssl_stapling_verify bật; ssl_dhparam /etc/ssl/certs/dhparam.pem; trình giải quyết 8.8.8.8; vị trí / { proxy_set_header Kết nối "nâng cấp"; proxy_set_header Nâng cấp $http_upgrade; proxy_http_version 1.1; proxy_set_header Máy chủ $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-NginX-Proxy true; proxy_pass http://127.0.0.1:8080; proxy_redirect off; }}# thực thi HTTPSmáy chủ { lắng nghe 80; lắng nghe [::]:80; tên máy chủ graphite.example.com; trả về 301 https://$host$request_uri;}

Lưu tệp bằng cách nhấn Ctrl + X và nhập Y khi được nhắc sau khi hoàn tất.

Xác minh cú pháp tệp cấu hình Nginx.

$ sudo nginx -tnginx: cú pháp tệp cấu hình /etc/nginx/nginx.conf là oknginx: tệp cấu hình /etc/nginx/nginx.conf đã kiểm tra thành công

Khởi động lại dịch vụ Nginx.

$ sudo systemctl restart nginx

Bước 10 - Truy cập và sử dụng Graphite​

Truy cập URL https://graphite.example.com trong trình duyệt của bạn và bạn sẽ thấy màn hình sau.



Nhấp vào liên kết Đăng nhập ở trên cùng bên phải để mở trang đăng nhập. Nhập thông tin xác thực siêu người dùng đã tạo ở bước 5 và nhấn nút đăng nhập để tiếp tục.

Có một số phương pháp để đưa dữ liệu vào Graphite. Chúng tôi đã thêm một trình so khớp mẫu trong lược đồ Lưu trữ, theo đó bất kỳ mẫu nào bắt đầu bằng kiểm tra sẽ được ghi lại là mẫu của chúng tôi. Hãy thêm một số dữ liệu ngẫu nhiên bằng lệnh sau.

$ echo "test.count 9 `date +%s`" | nc -q0 127.0.0.1 2003;

Điều này sẽ thêm một số liệu dữ liệu có giá trị 9 vào hệ thống. Hãy thêm một số dữ liệu nữa bằng cách lặp qua các giá trị.

$ for i in 4 6 8 16 2; do echo "test.count $i `date +%s`" | nc -q0 127.0.0.1 2003; sleep 6; xong

Quay lại bảng điều khiển Graphite và mở Metrics >> test >> count từ thanh bên trái. Bạn sẽ thấy nội dung tương tự như sau.



Bây giờ bạn có thể bắt đầu sử dụng nó để giám sát. Bạn cũng có thể kết hợp nó với Grafana để có được mức tùy chỉnh cao.

Kết luận​

Đây là phần kết thúc hướng dẫn của chúng tôi về cách cài đặt và cấu hình Graphite trên máy chủ Ubuntu 22.04 cùng với Nginx làm máy chủ proxy. Nếu bạn có bất kỳ câu hỏi nào, hãy đăng chúng trong phần bình luận bên dưới.