Hỏi / Đáp Gợi ý về các chương trình giám sát lưu trữ tập tin để phát hiện lỗi/ "bit-rot" theo định kỳ (tự động)?

[sirhawkeye64]

Có ứng dụng nào bạn có thể sử dụng để giám sát ổ đĩa hoặc thư mục để phát hiện bit-rot/hỏng dữ liệu thường xuyên (tự động) không? Tôi không nói về những thứ như SMART để giám sát tình trạng ổ đĩa, mà là chương trình giám sát hệ thống tệp hoặc thư mục. Ví dụ, có thể bạn chạy tệp của mình qua chương trình và chương trình sẽ tạo ra một hàm băm, sau đó định kỳ kiểm tra tệp so với hàm băm để xem có phát hiện ra lỗi hỏng nào không.

Bối cảnh: Tôi có một máy tính đồng bộ với bộ lưu trữ đám mây. Tôi chạy nó như một máy chủ/NAS nên tôi muốn đảm bảo rằng nếu dữ liệu bị hỏng, tôi sẽ biết để hy vọng có thể ngăn máy tải tệp bị hỏng lên đám mây, trong trường hợp xảy ra lỗi bit-rot. Tôi từng sử dụng một tập lệnh để tạo tổng kiểm MD5, nhưng đây là quy trình thủ công và không có cách thực sự nào để tự động kiểm tra các tệp để tìm thay đổi bằng cách sử dụng tổng kiểm, vì vậy tôi muốn tìm thứ gì đó thực hiện việc đó cho mình, có thể sử dụng cơ sở dữ liệu hoặc thứ gì đó để lập danh mục các tệp rồi kiểm tra chúng.

 

[Ralston18]

Không chắc chắn về "ứng dụng". Ít "bit-rot" hơn nhiều......

Tôi đề xuất nên có một thói quen sao lưu thường xuyên và đã được chứng minh.

Tức là, sao lưu nhiều lần vào nhiều vị trí khác nhau với xác minh rằng các bản sao lưu có thể phục hồi và đọc được.

Chỉ là suy nghĩ của tôi về vấn đề này.

 

[kanewolf]

Có ứng dụng nào bạn có thể sử dụng để giám sát ổ đĩa hoặc thư mục để phát hiện lỗi bit-rot/hỏng dữ liệu thường xuyên (tự động) không? Tôi không nói đến những thứ như SMART để giám sát tình trạng ổ đĩa, mà là chương trình giám sát hệ thống tệp hoặc thư mục. Ví dụ, có thể bạn chạy tệp của mình qua chương trình và chương trình sẽ tạo ra một hàm băm, sau đó định kỳ kiểm tra tệp so với hàm băm để xem có phát hiện lỗi nào không.

Bối cảnh: Tôi có một máy tính đồng bộ hóa với bộ lưu trữ đám mây. Tôi chạy nó như một máy chủ/NAS và vì vậy tôi muốn đảm bảo rằng nếu dữ liệu bị hỏng, tôi sẽ biết để hy vọng tôi có thể ngăn chặn nó tải tệp bị hỏng lên đám mây, trong trường hợp xảy ra sự cố như bit-rot. Tôi đã từng sử dụng một tập lệnh để tạo tổng kiểm tra MD5, nhưng đây là một quy trình thủ công và không có cách thực sự nào để tự động kiểm tra các tệp để tìm các thay đổi bằng tổng kiểm tra, vì vậy tôi muốn tìm thứ gì đó thực hiện việc đó cho mình, có thể sử dụng cơ sở dữ liệu hoặc thứ gì đó để lập danh mục các tệp và sau đó kiểm tra chúng.

CRC 64 bit khi "vàng" lưu CRC đó rồi tính toán lại trước khi đọc và so sánh. Đây là những gì chúng tôi đã sử dụng tại nơi làm việc với kho lưu trữ băng nhiều PB.

 

[Misgar]

Tôi chạy nó như một máy chủ/NAS và vì vậy tôi muốn đảm bảo rằng nếu dữ liệu bị hỏng, tôi sẽ biết để hy vọng tôi có thể ngăn nó tải tệp bị hỏng lên đám mây, trong trường hợp xảy ra các sự cố như bit-rot.

Nếu bạn đang chạy TrueNAS, tôi khuyên bạn nên xóa thường xuyên để kiểm tra tính toàn vẹn của dữ liệu.
https://www.truenas.com/docs/core/13.0/coretutorials/tasks/creatingscrubtasks/

 

[Grobe]

Có nhiều cách để đạt được điều này, tôi xin đề cập đến một vài cách

• Hệ thống tệp BTRFS có một kiểm tra CRC tích hợp (theo khối) thực sự chạy và kiểm tra mọi lần đọc. Trong trường hợp --checksum xảy ra lỗi crc trên ổ cứng vẫn hoạt động, các tệp bị ảnh hưởng không thể được đọc hoặc thay đổi. Người dùng sẽ nhận được thông báo lỗi. Đây là hệ thống tệp mặc định cho Fedora Linux. Kiểm tra CRC chỉ được thực hiện khi một tệp (thực tế là một khối) đang được đọc. Tuy nhiên, có các công cụ tích hợp để kiểm tra toàn bộ hệ thống tệp cùng một lúc.
• Nếu sao lưu được thực hiện bằng rsync: Nếu điều này được khởi chạy từ một tập lệnh, bạn có thể chạy kiểm tra ngược nhưng sử dụng các đối số --dry-run và --checksum để so sánh từng tệp riêng lẻ với bản sao lưu của bạn. Thao tác này sẽ kiểm tra tất cả các tệp, nhưng tốn thời gian và làm hỏng các thiết bị lưu trữ.
• FreeFilesync cũng có tùy chọn chỉ so sánh nội dung + kích thước tệp. Đây cũng là một tác vụ tốn thời gian, tùy thuộc vào lượng dữ liệu.

 

[Ralston18]

Có với những điều trên.

Bạn cũng có thể sử dụng các tập lệnh Powershell đơn giản.

Ví dụ (không phải là sự chứng thực hoặc khuyến nghị):

https://www.reddit.com/r/PowerShell/comments/gonr0f/regularly_check_your_files_against_bitrot_great/

Google "Powershell bit-rot hash" để biết thêm liên kết. Sau đó, khi bạn đọc và tìm hiểu, hãy sửa đổi tiêu chí tìm kiếm.

Một lợi thế của Powershell là bạn có thể tùy chỉnh tập lệnh khi cần thiết để đáp ứng các yêu cầu của mình.

 

[Misgar]

FreeFilesync cũng có tùy chọn chỉ so sánh nội dung + kích thước tệp. Đó cũng là một nhiệm vụ tốn thời gian, tùy thuộc vào lượng dữ liệu.

Đó là những gì tôi sử dụng khi sao chép các tệp RAW, JPG và MOV từ phương tiện kỹ thuật số (CF, SD, uSD) vào ổ đĩa máy tính xách tay của tôi qua USB.

Trong FreeFileSync Compare, bạn cần chọn "Nội dung tệp" để thực hiện so sánh từng bit. Nó làm tăng gấp đôi thời gian sao lưu tệp mỗi tối, nhưng bạn biết nếu có lỗi xảy ra trong quá trình truyền trước khi quá muộn.