Hỏi / Đáp Đánh giá về nút thắt cổ chai phần cứng TrueNAS 3xM2 RAIDZ

[szymontato]

[Ghi chú của người điều hành: Di chuyển chủ đề từ Mạng sang Lưu trữ. Áp dụng được nhiều hơn.]

Xin chào, tôi đang xây dựng NAS từ PC chơi game trước đây của mình. Trường hợp sử dụng không điển hình vì mục tiêu của tôi là sử dụng 6/7 thiết bị trên CAT6 2,5Gb/giây (đôi khi cũng có một số ít trên các truy cập từ xa). Mỗi ngày sẽ có 100-300GB được ghi/ghi đè nên không thực sự hữu ích cho ARC và tôi cần truy cập liên tục vào tốc độ này trên mọi máy, đó là lý do tại sao tôi mua card SFP+ 10Gb kép có tổng hợp và chuyển mạch - “TP-Link TL-SG3428X-M2” và RAIDZ với 3 ổ đĩa M2 4TB (không có ổ cứng, dung lượng thực 8TB là đủ)
Thông số kỹ thuật PC:
CPU: Intel i7-6850k
Bo mạch chủ: Asus Rog strix x99 gaming
RAM 32GB
NIC: Intel X520-DA2 (hoặc tương tự)
3 ổ đĩa M2 4TB RAIDZ
Bạn nghĩ gì về thiết lập này. CPU và bo mạch chủ này có đủ không? Có vẻ như nó mạnh hơn những ổ đĩa qnap 10gb, v.v. Tôi không thể tìm thấy thông tin về cách bố trí bus trong bo mạch chủ, nhưng tôi không lo lắng lắm vì sẽ không có GPU. Tôi muốn cắm một M2 trực tiếp vào MB và sử dụng bộ chuyển đổi sang PCIe cho 2 đĩa M2 khác. Có ai đã sử dụng loại bộ chuyển đổi này không, ví dụ: “Axagon PCIE NVME+SATA M.2 ADAPTER”? Bạn có thấy một số redflag bottlencs v.v. không? Tôi muốn cắm NIC vào PCIe đầu tiên (thay vì GPU) và hai bộ chuyển đổi vào 2 cái dưới cùng? Các bạn có thể xác nhận rằng điều này là tối ưu cho các làn không? CPU này là 40 làn nhưng hướng dẫn sử dụng MB này không rõ ràng với tôi khi nói đến các làn

 

[kanewolf]

[Ghi chú của người điều hành: Di chuyển luồng từ Mạng sang Lưu trữ. Áp dụng được nhiều hơn.]

Xin chào, Tôi đang xây dựng NAS từ PC chơi game trước đây của mình. Trường hợp sử dụng không điển hình vì mục tiêu của tôi là sử dụng 6/7 thiết bị trên CAT6 2,5Gb/giây (đôi khi cũng có một số thiết bị trên các truy cập từ xa). Mỗi ngày sẽ có 100-300GB được ghi/ghi đè nên không thực sự hữu ích cho ARC và tôi cần truy cập liên tục vào tốc độ này trên mọi máy, đó là lý do tại sao tôi mua card SFP+ 10Gb kép có tổng hợp và chuyển mạch - “TP-Link TL-SG3428X-M2” và RAIDZ với 3 ổ đĩa M2 4TB (không có ổ cứng, dung lượng thực 8TB là đủ)
Thông số kỹ thuật PC:
CPU: Intel i7-6850k
Bo mạch chủ: Asus Rog strix x99 gaming
RAM 32GB
NIC: Intel X520-DA2 (hoặc tương tự)
3 ổ đĩa M2 4TB RAIDZ
Bạn nghĩ gì về thiết lập này. CPU và bo mạch chủ này có đủ không? Có vẻ như nó mạnh hơn những ổ đĩa qnap 10gb, v.v. Tôi không thể tìm thấy thông tin về cách bố trí bus trong bo mạch chủ, nhưng tôi không lo lắng lắm vì sẽ không có GPU. Tôi muốn cắm một M2 trực tiếp vào MB và sử dụng bộ chuyển đổi sang PCIe cho 2 đĩa M2 khác. Có ai đã sử dụng loại bộ chuyển đổi này không, ví dụ: "BỘ CHUYỂN ĐỔI Axagon PCIE NVME+SATA M.2"? Bạn có thấy một số nút thắt cờ đỏ, v.v. không? Tôi muốn cắm NIC vào PCIe đầu tiên (thay vì GPU) và hai bộ chuyển đổi vào 2 bộ chuyển đổi dưới cùng? Các bạn có thể xác nhận rằng điều này là tối ưu cho các làn không? CPU này có 40 làn nhưng hướng dẫn sử dụng MB này không rõ ràng với tôi khi nói đến các lànMạng của bạn sẽ là yếu tố hạn chế.
Bạn định sử dụng giao thức mạng nào để truy cập phần cứng này? Việc điều chỉnh phần mềm của bạn sẽ quan trọng hơn các lựa chọn phần cứng của bạn.

 

[szymontato]

Mạng của bạn sẽ là yếu tố hạn chế.
Bạn định sử dụng giao thức mạng nào để truy cập phần cứng này? Việc điều chỉnh phần mềm của bạn sẽ quan trọng hơn lựa chọn phần cứng của bạn.

Máy tính chạy Windows sẽ truy cập được nên tôi nghĩ SMB (Samba) là lựa chọn duy nhất tôi có? Tôi hy vọng sẽ đạt được nút thắt cổ chai trong mạng của mình vì đó là phần tốn kém và tôi không thể nâng cấp lên hơn 2,5Gb/giây trên mỗi máy trạm (đặc biệt là bộ chuyển mạch). Mục tiêu của tôi là cung cấp tốc độ 2,5Gb/giây liên tục cho mọi PC (6-7 PC), về cơ bản là tối đa 8 PC cho đến khi kết nối bắt đầu thấp hơn 2,5GB/giây trên mỗi PC.

 

[Misgar]

Tôi đang mua card SFP+ 10Gb kép có tích hợp và chuyển mạch - “TP-Link TL-SG3428X-M2”

Tôi cho rằng bạn đang chạy một (hoặc hai) liên kết DAC hoặc SFP+ quang từ NAS đến bộ chuyển mạch?

Bạn có bị ràng buộc 100% khi sử dụng 2,5GbE trên tất cả các máy khác không? Bạn có khe cắm PCIe dự phòng nào trong những máy tính này cho NIC 10G nhanh hơn không?

Tôi đã mua được card Solarflare SFN 7122F dual SFP+ giá rẻ trên eBay với giá khoảng 30 đô la mỗi card. Tôi không cần cổng kép nhưng chúng rẻ hơn cổng đơn. Có rất nhiều bản sao "nhái" của Trung Quốc được quảng cáo là "hàng cũ" nhưng tôi vẫn trung thành với các sản phẩm chính hãng từ máy chủ cũ.

Tôi chạy hầu hết mạng gia đình của mình trên kết nối Ethernet 10G và kết nối cáp quang/DAC 10G với các bộ chuyển mạch MikroTik và Netgear 10G (không được quản lý).

Nếu bạn không cần bộ chuyển mạch 2,5G được quản lý, hãy cân nhắc bộ chuyển mạch MikroTik 8x10G SFP+ giá rẻ này với giá 260 đô la:
https://www.servethehome.com/mikrotik-crs309-1g-8sin-review-inexpensive-8x-10gbe-switch/

Máy tính Windows sẽ truy cập được nên tôi nghĩ là SMB (Samba)

Đó là những gì tôi sử dụng trên bốn máy chủ TrueNAS của mình vì nó dễ thiết lập. Có lẽ còn có những lựa chọn khác mà tôi chưa thử. Tất cả máy chủ của tôi đều là mảng 6 hoặc 8 ổ cứng, chạy trong RAID-Z2.

“BỘ CHUYỂN ĐỔI Axagon PCIE NVME+SATA M.2”

Tôi chưa có kinh nghiệm về bộ chuyển đổi này, nhưng điều quan trọng nhất cần nhớ về TrueNAS Core là nó thích truy cập miễn phí vào tất cả các ổ đĩa trong mảng, tức là không có bộ điều khiển RAID. Nếu Axagon cung cấp quyền truy cập chế độ CNTT (Mục tiêu khởi tạo) vào các ổ đĩa, thì điều đó thật tốt. Nếu nó hoạt động ở chế độ IR (RAID), hãy cẩn thận.

Tôi khuyên bạn nên đăng lên diễn đàn Serve The Home nếu bạn chưa làm vậy. Một kho thông tin hữu ích và các chuyên gia về phần cứng.
https://forums.servethehome.com/index.php

 

[USAFRet]

1. Tại sao lại là RAIDZ (Raid 5)?

2. Quy trình sao lưu thực tế của bạn là gì?

 

[szymontato]

Tôi cho rằng bạn đang chạy một (hoặc hai) liên kết DAC hoặc SFP+ quang từ NAS đến bộ chuyển mạch?

Chính xác, NIC SFP+ 10Gb kép từ nas đến bộ chuyển mạch và Cat6 đến mọi máy trạm trên đầu ra 2,5Gb từ bộ chuyển mạch

Bạn có bị ràng buộc 100% khi sử dụng 2,5GbE trên tất cả các máy khác không? Bạn có khe cắm PCIe dự phòng nào trong những máy tính này cho NIC 10G nhanh hơn không?

Tôi đã lên kế hoạch cho một số phương pháp tiếp cận kết hợp trong tương lai, vấn đề là dù sao thì tôi cũng không thể cung cấp nhiều hơn hai kết nối 10Gbe cùng một lúc. Đây là một mẹo tuyệt vời với công tắc này. Tôi không ngờ lại thấy 10Gbe giá rẻ này, tuy nhiên nó sẽ chỉ cung cấp cho tôi 6 cổng 10GBe (Vì 2 cổng đến từ NIC của NAS) và tôi có thể cần nhiều hơn 6 cổng trong tương lai. Việc mua công tắc này, NIC và bộ điều hợp SFP+ cho mọi máy trạm chỉ với 2x10GBe cùng một lúc có vẻ không đáng vào thời điểm này.

1. Tại sao lại là RAIDZ (Raid 5)?

2. Quy trình sao lưu thực tế của bạn là gì?

Bởi vì nó chỉ dành cho các dự án "hiện tại" và tôi sẽ sao lưu hàng đêm vào ổ cứng NAS thứ hai và hiện tại không có tùy chọn nào cho hơn 3 ổ đĩa M2. Không còn khe cắm PCIe trống nào nữa và việc phân nhánh trên MB này không được hỗ trợ, và các bộ điều hợp cho 4xM2 mà không có bộ đệm khá đắt, tuy nhiên, 7TB dung lượng khả dụng vẫn đủ. Ít nhất là hiện tại. Tôi đang xem xét lựa chọn nâng cấp này để mua bộ chuyển đổi hoặc bo mạch chủ mới có phân nhánh và CPU mới

 

[Misgar]

nó sẽ chỉ cung cấp cho tôi 6 cổng 10GBe

Để tham khảo trong tương lai, nếu bạn cần 16 lồng FSP+, có một công tắc MikroTik lớn hơn với giá 499 đô la:
https://mikrotik.com/product/crs317_1g_16s_rm

 

[USAFRet]

Bởi vì nó chỉ dành cho các dự án "hiện tại" và tôi sẽ sao lưu hàng đêm vào ổ cứng HDD thứ hai nas và hiện tại không có tùy chọn nào cho hơn 3xM2 đĩa. Không còn khe cắm PCIe trống nào nữa và việc phân nhánh trên MB này không được hỗ trợ, và các bộ điều hợp cho 4xM2 mà không có bộ phân nhánh khá đắt, nhưng 7TB dung lượng khả dụng vẫn đủ. Ít nhất là hiện tại. Tôi đang xem xét lựa chọn nâng cấp này để mua bộ chuyển đổi hoặc bo mạch chủ mới có chức năng phân nhánh và CPU mới

OK.
Tôi hỏi vì có quá nhiều người cho rằng RAID là tất cả những gì họ cần.

 

[szymontato]

Tôi đã nghiên cứu thêm một chút và tìm thấy một công ty trong thành phố của tôi chuyên tân trang các thiết bị chuyển mạch doanh nghiệp và cung cấp dịch vụ trong một vài năm. Họ có Dell N4032 24x 10Gb RJ45 + 2x 40Gb QSFP+ mở rộng với giá 1000$. Điều đó khiến tôi nhận ra rằng 10Gb thực sự có thể nằm trong ngân sách của tôi. Bây giờ, nút thắt cổ chai sẽ là đĩa và CPU. Họ cũng có NIC QSFP+ 40Gb kép trên PCIe Gen 3 x8. Tôi biết rằng PCIe Gen 3 x8 cung cấp 8GB/giây, ít hơn 2x40Gb/giây (RAIDZ với ba M.2 thậm chí còn ít hơn 7GB một chút trong Gen3), nhưng nó vẫn có vẻ tuyệt vời. Tôi đang có kế hoạch mua bộ điều hợp ICY BOX PCIe 4.0 x4 để tản nhiệt và 3 ổ đĩa Crucial P3 M.2 - RAIDZ (hoặc có thể là samsung 990pro). Tôi hy vọng CPU có thể xử lý được, nhưng tôi lo lắng về việc một trong các ổ M2 chia sẻ băng thông với PCH (ổ đĩa hệ thống sata trong trường hợp này, nếu tôi hiểu đúng). Điều này có thể làm chậm đáng kể trải nghiệm tổng thể của tôi hay gây ra các vấn đề khác với RAIDZ không? Bạn nghĩ gì về thiết lập này? Trong trường hợp xấu nhất, tôi có thể sử dụng một PC thứ hai với Ryzen 16 lõi (tôi không nhớ chính xác model nào) và bo mạch chủ của nó thậm chí còn hỗ trợ phân nhánh hoặc mua bộ điều hợp PCIe Gen3 x16 PLX. Cảm ơn vì tất cả thông tin—nó đã giúp tôi tìm hiểu sâu hơn về ổ PCIe/làn/M.2, v.v.!

 

[Misgar]

tìm thấy công ty trong thành phố của tôi chuyên tân trang các thiết bị chuyển mạch doanh nghiệp

Lưu ý, trước khi mua bất kỳ phần cứng doanh nghiệp (chất lượng cao) nào, hãy kiểm tra xem quạt có ồn không. Nếu thiết bị chuyển mạch được lắp ở phòng khác, tầng hầm, tủ lớn, ngoài tầm nghe, thì bạn sẽ không bị ảnh hưởng bởi tiếng ồn liên tục. Tôi chịu đựng tiếng quạt Delta kêu inh ỏi trong máy chủ HP của mình khi khởi động, nhưng sau 4 phút, chúng trở lại bình thường với tiếng ù nhỏ. Tôi luôn có thể di chuyển đến một phần khác của ngôi nhà khi chạy bản sao lưu.

Tôi biết rằng PCIe Gen 3 x8 cung cấp 8GB/giây

Tác dụng phụ đáng tiếc của việc nâng cấp một phần hệ thống của bạn (ví dụ: lên mạng 10G hoặc 40G) là một phần khác (tốc độ bus bộ xử lý) trở thành nút thắt cổ chai. Nếu PCIe Gen.3 trở thành yếu tố hạn chế, bạn sẽ phải chấp nhận nó "nguyên trạng" hoặc mua phần cứng mới hỗ trợ Gen.4 hoặc thậm chí là Gen.5. Tôi sẽ gắn bó với bo mạch X99.

Tôi lo lắng về một trong các ổ đĩa M2 chia sẻ băng thông với PCH

Trên thực tế, bạn có thể không thấy bất kỳ sự chậm lại đáng kể nào. Ngay cả khi bạn thấy, bạn sẽ sẵn sàng chi bao nhiêu tiền cho phần cứng mới để khắc phục tình trạng tắc nghẽn?

Tôi đề xuất chạy một vài điểm chuẩn với số lượng bộ phận mới tối thiểu. Điều này có thể giúp bạn tính toán tốc độ của ZFS RAIDZ, để bạn có thể so sánh nó với phần cứng mạng mới.
https://icesquare.com/wordpress/zfs-performance-mirror-vs-raidz-vs-raidz2-vs-raidz3-vs-striped/

Họ có Dell N4032 24x 10Gb RJ45 + 2x 40Gb QSFP+ mở rộng với giá 1000$.

Không cần thiết phải mua một công tắc hỗ trợ 40G nếu phần cứng của bạn không bão hòa 10G, trừ khi bạn đang bảo vệ tương lai?

Cũng có câu hỏi về khả năng tương thích của bộ thu phát SFP+ (chưa nói đến 40G QSFP/QSFP+). Một số bộ thu phát khá "phổ biến" và hoạt động với nhiều công tắc/NIC, một số khác thì cụ thể hơn nhiều. Một số công tắc được "khóa" vào thương hiệu bộ thu phát riêng của nhà sản xuất, điều này có thể bất tiện/đắt tiền.

Hoặc bạn có thể sử dụng liên kết DAC cho các lần chạy ngắn.
https://www.servethehome.com/what-is-a-direct-attach-copper-dac-cable/

Bộ chuyển đổi 10Gbase-T (RJ45) sử dụng nhiều điện năng hơn bộ thu phát quang, điều này có thể gây ra sự cố với một số công tắc "thiếu điện".
https://www.servethehome.com/sfp-to-10gbase-t-adapter-module-buyers-guide/

Bây giờ, nút thắt cổ chai sẽ là đĩa và CPU.

Hãy nhớ rằng việc ghi bit chẵn lẻ RAID sẽ tiêu tốn thêm chu kỳ xử lý (điều này rất rõ ràng). Tôi chấp nhận rằng bốn hệ thống RAID-Z2 của tôi sẽ chậm hơn một chút do kết quả này.

Điều này có thể làm chậm đáng kể trải nghiệm tổng thể của tôi hoặc gây ra các vấn đề khác với RAIDZ không?

Tôi nghĩ bạn cần đăng loại câu hỏi này trên diễn đàn TrueNAS hoặc chỉ cần duyệt qua một vài câu hỏi do những người khác đặt ra:
https://www.truenas.com/community/threads/good-nvme-speeds-but-should-be-faster.114711/