QyInvoLing
New member
Tôi đã thử sử dụng phần mềm AMD ROCm trên GPU RX 6750 GRE 12G của mình vào đầu năm 2024 để chạy ChatGLM3-6B và đó hoàn toàn là một thảm họa:
Các bước cài đặt gây khó chịu ngay cả với tôi, một sinh viên tốt nghiệp ngành CS có một số kinh nghiệm về mọi khía cạnh của CS.
Tôi đã làm theo hướng dẫn của AMD, cài đặt thành công ROCm 5.8 (phiên bản mới nhất có hỗ trợ torch tại thời điểm đó) và torch (phiên bản rocm), sau đó tôi thấy rằng không có gì hoạt động tốt, tôi cần thiết lập nhiều hơn nữa (các biến môi trường không được đề cập trong tài liệu của AMD và không được thiết lập tự động bởi quá trình cài đặt). ROCm rất phức tạp để thiết lập, đặc biệt là trên một GPU hiếm, cuối cùng tôi đã kết hợp các cài đặt được đề xuất là 6750xt từ tài liệu và GPUID thực tế mà tôi tự tìm thấy. Sau đó, một vấn đề khác lại phát sinh: Tôi sử dụng 7700x có chứa iGPU và ROCm cần phải vô hiệu hóa nó tại thời điểm đó (có thể vấn đề này sẽ được khắc phục sau), nếu không làm như vậy, mọi thứ sẽ bị hỏng mà không có báo cáo lỗi đáng chú ý nào.
Tôi nhận thấy rằng Intel có thể hủy bỏ dòng Arc Pro và phát hành B580 24G vào cuối năm 2025, vì vậy tôi tự hỏi liệu Intel có cung cấp một số ngăn xếp phần mềm như ROCm mà tôi có thể sử dụng NGAY không? Hiệu suất cũng không tốt khi sử dụng 6750GRE12G (tôi biết AMDGPU dòng 6000 thiếu hiệu suất AI), nhưng vẫn chấp nhận được và 12GB vram đủ để chạy ChatGLM3-6B-int8——Tôi không quan tâm nhiều đến hiệu suất và sự tiện lợi, vì vậy phiên bản 24GB của B580 hấp dẫn tôi.
Tôi đã có ba GPU Arc: A380, A770-8G, B580 (chỉ tặng cho bạn tôi thôi). Nếu ai đó có thể cho tôi biết rằng ngăn xếp phần mềm AI của Intel dễ triển khai hơn ROCm, tôi có thể thử sau
Các bước cài đặt gây khó chịu ngay cả với tôi, một sinh viên tốt nghiệp ngành CS có một số kinh nghiệm về mọi khía cạnh của CS.
Tôi đã làm theo hướng dẫn của AMD, cài đặt thành công ROCm 5.8 (phiên bản mới nhất có hỗ trợ torch tại thời điểm đó) và torch (phiên bản rocm), sau đó tôi thấy rằng không có gì hoạt động tốt, tôi cần thiết lập nhiều hơn nữa (các biến môi trường không được đề cập trong tài liệu của AMD và không được thiết lập tự động bởi quá trình cài đặt). ROCm rất phức tạp để thiết lập, đặc biệt là trên một GPU hiếm, cuối cùng tôi đã kết hợp các cài đặt được đề xuất là 6750xt từ tài liệu và GPUID thực tế mà tôi tự tìm thấy. Sau đó, một vấn đề khác lại phát sinh: Tôi sử dụng 7700x có chứa iGPU và ROCm cần phải vô hiệu hóa nó tại thời điểm đó (có thể vấn đề này sẽ được khắc phục sau), nếu không làm như vậy, mọi thứ sẽ bị hỏng mà không có báo cáo lỗi đáng chú ý nào.
Tôi nhận thấy rằng Intel có thể hủy bỏ dòng Arc Pro và phát hành B580 24G vào cuối năm 2025, vì vậy tôi tự hỏi liệu Intel có cung cấp một số ngăn xếp phần mềm như ROCm mà tôi có thể sử dụng NGAY không? Hiệu suất cũng không tốt khi sử dụng 6750GRE12G (tôi biết AMDGPU dòng 6000 thiếu hiệu suất AI), nhưng vẫn chấp nhận được và 12GB vram đủ để chạy ChatGLM3-6B-int8——Tôi không quan tâm nhiều đến hiệu suất và sự tiện lợi, vì vậy phiên bản 24GB của B580 hấp dẫn tôi.
Tôi đã có ba GPU Arc: A380, A770-8G, B580 (chỉ tặng cho bạn tôi thôi). Nếu ai đó có thể cho tôi biết rằng ngăn xếp phần mềm AI của Intel dễ triển khai hơn ROCm, tôi có thể thử sau
