Thiết lập máy chủ MinIO để sử dụng kiến trúc lưu trữ

[theanh]

Trong hướng dẫn này, tôi sẽ giải thích cách thiết lập máy chủ MinIO để sử dụng kiến trúc lưu trữ. Đối với bất kỳ ai chưa biết MinIO là gì: đây là hệ thống lưu trữ đối tượng phân tán, hiệu suất cao. Nó được định nghĩa bằng phần mềm, chạy trên phần cứng tiêu chuẩn công nghiệp và là mã nguồn mở 100%. Nó được xây dựng có chủ đích để phục vụ các đối tượng như một kiến trúc một lớp để đạt được tất cả các chức năng cần thiết mà không phải thỏa hiệp. Kết quả được coi là máy chủ đối tượng gốc đám mây có khả năng mở rộng và nhẹ đồng thời.

Khi thế giới kỹ thuật đám mây ngày càng phát triển và trưởng thành hơn, những điều cần lưu ý tại sao chúng ta cần MinIO ngay từ đầu xuất hiện?

Hãy lưu ý rằng nếu khi bạn phục vụ giải pháp của mình trên đám mây, bạn có thể sẽ sử dụng giải pháp lưu trữ như AWS S3, Azure Blob Storage và Alibaba OSS. Tương tự như vậy đối với khái niệm nếu giải pháp của bạn vẫn còn tại chỗ vì Minio đóng vai trò là giải pháp thay thế cho kiến trúc lưu trữ giống như dịch vụ lưu trữ đám mây được cung cấp.

1. Nó hoạt động như thế nào​

Trong một khái niệm đơn giản, Minio bao gồm 2 phần - phần máy khách và phần máy chủ. Khái niệm này cũng bao gồm bảng điều khiển thông qua giao diện người dùng web hoặc trình duyệt tệp. Mỗi phía máy khách và máy chủ đều tương đối dễ thiết lập và nếu bạn quen thuộc với CLI (Giao diện dòng lệnh), bạn sẽ thấy dễ nắm bắt.

Tuy nhiên, khi chúng tôi thiết kế thành cấp độ Sản xuất, mọi thứ phải được phân phối, nghĩa là giải pháp được cung cấp phải đảm bảo hoạt động tốt trên quy mô lớn, tự mở rộng và sẵn sàng cho tính khả dụng cao. Khi đã tính đến điều này, minio có khái niệm riêng gọi là Mã xóa phân tán.





Khái niệm này là một cách tiếp cận đáng tin cậy để phân mảnh dữ liệu trên nhiều ổ đĩa và truy xuất lại, ngay cả khi một số ổ đĩa không khả dụng. Bằng cách sử dụng khái niệm này, bạn có thể mất một nửa số ổ đĩa và vẫn được đảm bảo dữ liệu của mình

Trong hướng dẫn này, tôi sẽ chỉ cho bạn cách cài đặt và cấu hình máy chủ MinIO dưới dạng mã xóa phân tán. Sau đó, chúng ta sẽ xem nhanh cách sử dụng dịch vụ MinIO ở phía máy khách với tư cách là người dùng cuối.

2. Giai đoạn cài đặt​

Đối với giai đoạn cài đặt, tôi sẽ cấu hình 2 máy chủ làm cụm minio để chuẩn bị cấu hình mã xóa phân tán.

Bây giờ chúng ta sẽ liệt kê 4 ổ đĩa mà chúng ta sẽ sử dụng để phân vùng thành thiết bị khối để sử dụng minio. Vì kiến trúc của chúng tôi quyết định thiết lập nhiều máy chủ, nên ổ đĩa tối thiểu cần có cho một máy chủ là 2, nhưng nếu bạn đang sử dụng một máy chủ duy nhất, thì yêu cầu tối thiểu về ổ đĩa là 1. Bạn có thể xem yêu cầu chi tiết cần thiết cho thiết kế mã xóa tại đây.

Dưới đây là các bước:

 [root@svrA ~]# fdisk -l 

Đĩa /dev/sda: 107,4 GB, 107374182400 byte, 209715200 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 
Loại nhãn đĩa: dos 
Mã định danh đĩa: 0x000a4fd8 

Thiết bị Khởi động Bắt đầu Kết thúc Khối Id Hệ thống 
/dev/sda1 * 2048 2099199 1048576 83 Linux 
/dev/sda2 2099200 209715199 103808000 8e Linux LVM 

Đĩa /dev/sdb: 8589 MB, 8589934592 byte, 16777216 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 


Đĩa /dev/sdc: 8589 MB, 8589934592 byte, 16777216 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 


Đĩa /dev/sdd: 8589 MB, 8589934592 byte, 16777216 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 


Đĩa /dev/sde: 8589 MB, 8589934592 byte, 16777216 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 


Đĩa /dev/mapper/centos-root: 104,1 GB, 104144568320 byte, 203407360 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 


Đĩa /dev/mapper/centos-swap: 2147 MB, 2147483648 byte, 4194304 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte

Như bạn có thể thấy ở trên, về phía chúng tôi có 4 ổ đĩa được gắn vào máy chủ của chúng tôi, mỗi ổ có kích thước 8 GB.

Tiếp theo, chúng tôi sẽ tạo một phân vùng từ mỗi ổ đĩa, sau đó tạo một thư mục chuyên dụng sẽ gắn vào mỗi phân vùng mà chúng tôi sẽ tạo. Dưới đây là các bước.

[root@svrA ~]# fdisk /dev/sdb 
Chào mừng đến với fdisk (util-linux 2.23.2). 

Những thay đổi sẽ chỉ được lưu trong bộ nhớ, cho đến khi bạn quyết định ghi chúng. 
Hãy cẩn thận trước khi sử dụng lệnh write. 

Thiết bị không chứa bảng phân vùng được nhận dạng 
Đang xây dựng nhãn đĩa DOS mới với mã định danh đĩa 0x4217c4d9. 

Lệnh (m để trợ giúp): p 

Đĩa /dev/sdb: 8589 MB, 8589934592 byte, 16777216 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 
Loại nhãn đĩa: dos 
Mã định danh đĩa: 0x4217c4d9 

Thiết bị Khởi động Bắt đầu Kết thúc Khối Id Hệ thống 

Lệnh (m để trợ giúp): n 
Loại phân vùng: 
p chính (0 chính, 0 mở rộng, 4 trống) 
e mở rộng 
Chọn (mặc định là p): p 
Số phân vùng (1-4, mặc định là 1): 
Sector đầu tiên (2048-16777215, mặc định là 2048): 
Sử dụng giá trị mặc định là 2048 
Khu vực cuối cùng, +sectors hoặc +size{K,M,G} (2048-16777215, mặc định là 16777215): 
Sử dụng giá trị mặc định là 16777215 
Phân vùng 1 loại Linux và có kích thước 8 GiB được đặt 

Lệnh (m để được trợ giúp): p 

Đĩa /dev/sdb: 8589 MB, 8589934592 byte, 16777216 sector 
Đơn vị = sector của 1 * 512 = 512 byte 
Kích thước sector (logic/vật lý): 512 byte / 512 byte 
Kích thước I/O (tối thiểu/tối ưu): 512 byte / 512 byte 
Nhãn đĩa loại: dos 
Mã số đĩa: 0x4217c4d9 

Thiết bị Khởi động Bắt đầu Kết thúc Khối Id Hệ thống 
/dev/sdb1 2048 16777215 8387584 83 Linux 

Lệnh (m để được trợ giúp): w 
Bảng phân vùng đã bị thay đổi! 

Gọi ioctl() để đọc lại bảng phân vùng. 
Đang đồng bộ hóa đĩa. 

Lệnh (m để trợ giúp): q 

[root@svrA ~]# ls /dev/sdb* 
/dev/sdb /dev/sdb1 
[root@svrA ~]# mkfs.xfs -f /dev/sdb1 
meta-data=/dev/sdb1 isize=512 agcount=4, agsize=524224 blks 
= sectsz=512 attr=2, projid32bit=1 
= crc=1 finobt=0, sparse=0 
data = bsize=4096 blocks=2096896, imaxpct=25 
= sunit=0 swidth=0 blks 
naming =version 2 bsize=4096 ascii-ci=0 ftype=1 
log =internal log bsize=4096 blocks=2560, version=2 
= sectsz=512 sunit=0 blks, lazy-count=1 
realtime =none extsz=4096 blocks=0, rtextents=0 
[root@svrA ~]# 
[root@svrA ~]# mkdir -p /opt/drive1 
[root@svrA ~]# mkdir -p /opt/drive2 
[root@svrA ~]# mkdir -p /opt/drive3 
[root@svrA ~]# mkdir -p /opt/drive4 
[root@svrA ~]# 
[root@svrA ~]# mount /dev/sdb1 /opt/drive1 
[root@svrA ~]# df -h 
Kích thước hệ thống tập tin được sử dụng Có sẵn Sử dụng% Đã gắn kết trên 
/dev/mapper/centos-root 97G 3,8G 94G 4% / 
devtmpfs 1.9G 0 1.9G 0% /dev 
tmpfs 1.9G 0 1.9G 0% /dev/shm 
tmpfs 1.9G 8.6M 1.9G 1% /run 
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup 
/dev/sda1 1014M 145M 870M 15% /boot 
tmpfs 379M 0 379M 0% /run/user/0 
/dev/sdb1 8.0G 33M 8.0G 1% /opt/drive1 
[root@svrA ~]#

Sau khi hoàn tất, hãy lặp lại quy trình tương tự để tạo phân vùng trên các ổ đĩa còn lại, sau đó gắn nó vào từng thư mục chúng ta đã tạo. Kết quả cuối cùng, bạn sẽ nhận được kết quả như bên dưới:-

 [root@svrA ~]# mount /dev/sdb1 /opt/drive1 
[root@svrA ~]# mount /dev/sdc1 /opt/drive2 
[root@svrA ~]# mount /dev/sdd1 /opt/drive3 
[root@svrA ~]# mount /dev/sde1 /opt/drive4 
[root@svrA ~]# 
[root@svrA ~]# 
[root@svrA ~]# df -h 
Kích thước hệ thống tệp đã sử dụng Có sẵn Sử dụng% Đã gắn kết trên 
/dev/mapper/centos-root 97G 3,8G 94G 4% / 
devtmpfs 1,9G 0 1,9G 0% /dev 
tmpfs 1.9G 0 1.9G 0% /dev/shm 
tmpfs 1.9G 8.6M 1.9G 1% /run 
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup 
/dev/sda1 1014M 145M 870M 15% /boot 
tmpfs 379M 0 379M 0% /run/user/0 
/dev/sdb1 8.0G 33M 8.0G 1% /opt/drive1 
/dev/sdc1 8.0G 33M 8.0G 1% /opt/drive2 
/dev/sdd1 8.0G 33M 8.0G 1% /opt/drive3 
/dev/sde1 8.0G 33M 8.0G 1% /opt/drive4

Được rồi, vì điều kiện tiên quyết trên ổ đĩa đã được thực hiện cho máy chủ 1, hãy lặp lại cấu hình tương tự trên máy chủ 2 như trên.

3. Giai đoạn cấu hình​

Bây giờ khi cả hai cấu hình máy chủ đã hoàn tất, chúng ta hãy tiếp tục cài đặt dịch vụ minio. Đầu tiên, hãy tải xuống gói minio như được hiển thị bên dưới:

 [root@svrA ~]# wget https://dl.min.io/server/minio/release/linux-amd64/minio && chmod +x minio 
--2019-09-29 22:23:57-- https://dl.min.io/server/minio/release/linux-amd64/minio 
Đang giải quyết dl.min.io (dl.min.io)... 178.128.69.202 
Đang kết nối tới dl.min.io (dl.min.io)|178.128.69.202|:443... đã kết nối. 
Đã gửi yêu cầu HTTP, đang chờ phản hồi... 200 OK 
Độ dài: 43831296 (42M) [application/octet-stream] 
Đang lưu vào: ‘minio’ 

3% [=> ] 1.335.296 106KB/giây trong vòng 6 phút 33 giây

Bây giờ hãy lặp lại tương tự như trên trên máy chủ 2.

Khi mọi thứ đã xong, hãy bắt đầu cấu hình minio. Chúng ta sẽ định nghĩa MINIO_ACCESS_KEY và MINIO_SECRET_KEY là quyền truy cập xác thực. Cấu hình như sau:-

 [root@svrA ~]# export MINIO_ACCESS_KEY=shahril && export MINIO_SECRET_KEY=shahril123 
[root@svrA ~]# ./minio server http://10.124.12.{141..142}:9000/opt/drive{1..4} 
Đang chờ tối thiểu 4 đĩa trực tuyến (đã trôi qua 0 giây) 

Đang chờ tối thiểu 4 đĩa trực tuyến (đã trôi qua 2 giây) 

Đang chờ tối thiểu 4 đĩa trực tuyến (đã trôi qua 3 giây) 

Đang chờ tối thiểu 4 đĩa trực tuyến (đã trôi qua 3 giây) 

Đang chờ tất cả các máy chủ khác trực tuyến để định dạng đĩa. 
Trạng thái: 8 Trực tuyến, 0 Ngoại tuyến. 
Điểm cuối: http://10.124.12.141:9000 http://10.124.12.142:9000 
AccessKey: shahril 
SecretKey: shahril123 

Truy cập trình duyệt: 
http://10.124.12.141:9000 http://10.124.12.142:9000 

Truy cập dòng lệnh: https://docs.min.io/docs/minio-client-quickstart-guide 
$ mc config host add myminio http://10.124.12.141:9000 shahril shahril123 

API đối tượng (tương thích với Amazon S3): 
Go: https://docs.min.io/docs/golang-client-quickstart-guide 
Java: https://docs.min.io/docs/java-client-quickstart-guide 
Python: https://docs.min.io/docs/python-client-quickstart-guide 
JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide 
.NET: https://docs.min.io/docs/dotnet-client-quickstart-guide

Bây giờ cấu hình đã xong trên máy chủ 1, lặp lại các bước tương tự trên máy chủ 2 để cấu hình.

Sau khi mọi thứ hoàn tất, chúng ta có thể tiến hành kiểm tra kết quả

4. Giai đoạn kiểm tra​

Khi mọi thứ đã hoàn tất, chúng ta hãy bắt đầu xem khả năng sử dụng của các dịch vụ minio. Như đã hiển thị trong cấu hình ở trên, chúng ta có thể truy cập bảng điều khiển của giao diện người dùng thông qua trình duyệt. Đối với ví dụ của chúng ta, hãy đăng nhập vào

http://10.124.12.141:9000

bằng khóa truy cập shahril và khóa bí mật shahril123 đã được cấu hình.

Kết quả sẽ được hiển thị như bên dưới:





Sau khi hoàn tất, chúng ta sẽ được chuyển hướng đến bảng điều khiển bucket. Bây giờ, hãy tạo bucket đầu tiên của mình.

Nhấp vào thư mục biểu tượng có nút dấu cộng và đặt tên cho bucket đầu tiên của chúng ta là mylove. Ví dụ như được hiển thị bên dưới:









Sau khi hoàn tất, bạn sẽ thấy một bucket mới được tạo và hiển thị trên bảng điều khiển bên trái như ảnh chụp màn hình bên dưới.





Sau khi hoàn tất, bạn sẽ thấy một bucket mới được tạo và hiển thị trên bảng điều khiển bên trái như ảnh chụp màn hình bên dưới.

Tiếp theo, hãy thêm bất kỳ tệp nào từ phía cục bộ của bạn để chèn vào bucket





Bạn sẽ thấy rằng tệp mới đã được tải thành công vào bucket như được hiển thị bên dưới.





Để đảm bảo rằng khái niệm phân tán được triển khai tốt. Hãy thực hiện một thử nghiệm đơn giản bằng cách truy cập bảng điều khiển minio thông qua một máy chủ khác. URL máy chủ khác là

http://10.124.12.142:9000

Như mong đợi, bucket và các tệp mà chúng tôi đã chèn cũng tồn tại trong URL máy chủ khác như được hiển thị ở trên.



Bây giờ, hãy thực hiện một thử nghiệm khác. Lần này, chúng tôi sẽ sử dụng một máy trạm khác sẽ truy cập máy chủ minio của chúng tôi bằng bảng điều khiển máy khách có tên là mc.

Từ phía máy khách, chúng tôi sẽ tạo một tệp rồi tải tệp đó lên bucket hiện có.

Sau đó, như kết quả cuối cùng, chúng tôi sẽ mong đợi thấy từ bảng điều khiển rằng tệp mới được tải lên từ phía máy khách tự động tồn tại.



Đầu tiên, hãy mở máy trạm máy khách và tải xuống gói máy khách minio. Một ví dụ được hiển thị bên dưới:

 [root@CentOS7 ~]# wget https://dl.min.io/client/mc/release/linux-amd64/mc 
--2019-09-30 11:47:38-- https://dl.min.io/client/mc/release/linux-amd64/mc 
Đang giải quyết dl.min.io (dl.min.io)... 178.128.69.202 
Đang kết nối tới dl.min.io (dl.min.io)|178.128.69.202|:443... đã kết nối. 
Yêu cầu HTTP đã được gửi, đang chờ phản hồi... 200 OK 
Độ dài: 16592896 (16M) [application/octet-stream] 
Đang lưu vào: ‘mc’ 

100%[============================================================================================>] 16.592.896 741KB/giây trong 1 phút 59 giây 

30-09-2019 11:49:37 (137 KB/giây) - ‘mc’ đã lưu [16592896/16592896] 

[root@CentOS7 ~]# chmod +x mc

Sau đó, tạo cấu hình từ phía máy khách để truy cập vào bucket chuyên dụng bằng cách sử dụng create access key và secret. Ví dụ như bên dưới:

 [root@CentOS7 ~]# ./mc config host add myminio http://10.124.12.142:9000 shahril shahril123 
mc: Cấu hình được ghi vào `/root/.mc/config.json`. Vui lòng cập nhật thông tin xác thực truy cập của bạn. 
mc: Đã tạo thành công `/root/.mc/share`. 
mc: Đã khởi tạo tệp chia sẻ tải lên `/root/.mc/share/uploads.json`. 
mc: Đã khởi tạo tệp chia sẻ tải xuống `/root/.mc/share/downloads.json`. 
Đã thêm `myminio` thành công.

Sau khi cấu hình, bạn sẽ thấy được nội dung bên trong thùng hiện có. Ví dụ như sau:

 [root@CentOS7 ~]# ./mc ls myminio 
[2019-09-30 11:16:25 +08] 0B mylove/ 

[root@CentOS7 ~]# ./mc ls myminio/mylove/ 
[2019-09-30 11:16:25 +08] 55KiB myself.jpg

Bây giờ, hãy tạo hoặc tải lên bất kỳ tệp hiện có nào từ phía máy khách vào thùng. Ví dụ như sau:-

 [root@CentOS7 ~]# ./mc cp new_file.txt myminio/mylove 
new_file.txt: 38 B / 38 B ???????????????????????????????????????????????????????????????? 100,00% 1,02 KiB/giây 0 giây 
[root@CentOS7 ~]# 

[root@CentOS7 ~]# ./mc ls myminio/mylove/ 
[30-09-2019 11:16:25 +08] 55KiB myself.jpg 
[30-09-2019 11:58:16 +08] 38B new_file.txt

Sau khi hoàn tất, như mong đợi khi bạn làm mới từ phía bảng điều khiển thông qua bất kỳ URL máy chủ nào, bạn sẽ thấy tệp mới được hiển thị ở đó như bên dưới.





Bạn sẽ thấy liên kết đầy đủ của hình ảnh khi nhấp vào biểu tượng chia sẻ ở bên phải của mình như bên dưới. Đây là liên kết duy nhất của từng đối tượng bên trong bucket mà bạn có thể sử dụng ở phía ứng dụng thông qua curl hoặc API.







Thích quá! Bây giờ chúng ta đã thiết lập và cấu hình thành công dịch vụ lưu trữ tự lưu trữ tại chỗ bằng Minio. Để biết thêm chi tiết, bạn có thể kiểm tra tài liệu tại đây