Hỏi / Đáp Có thể sử dụng card AMD GFX để sử dụng công cụ AI không?

[apalace]

Có vẻ như tôi đã già rồi, và công nghệ thì chạy nhanh hơn tôi..

Tôi có RTX 3070 Ti chỉ với 8 Gigs vRam. Tôi đã cài đặt một số công cụ AI để sử dụng cục bộ, nhưng các công cụ này cần cài đặt CUDA và cần VRAM, do đó tôi muốn nâng cấp lên card có ít nhất 24 gig vram..
Tôi có một lựa chọn ở đây từ nVidia: RTX 4090 có giá hơn 1700 €, thực sự đắt.

Tôi đã xem xét các card AMD, như RX 7900xtx, và nó có 24 gig và tôi có thể tiết kiệm được 700 €. Nhưng sau đó tôi phải loại bỏ các công cụ AI mà tôi muốn sử dụng cục bộ trên máy của mình.

Câu hỏi đặt ra là:
Bây giờ có giải pháp nào cho vấn đề đó không? Ý tôi là, chúng ta có thể sử dụng CUDA với Công cụ AI trong khi có card AMD thay vì nVidia không? Hay tôi vẫn phải dùng card nVidia để đạt được điều đó?
Bạn có ý tưởng, bình luận, giải pháp, khả năng nào không?

P.S.: Ý tôi là dành cho Windows 11

Rất cảm ơn vì bất kỳ điều nào ở trên!

 

[kanewolf]

Có vẻ như tôi đã già rồi và công nghệ thì chạy nhanh hơn tôi..

Tôi có RTX 3070 Ti với chỉ 8 GB vRam. Tôi đã cài đặt một số công cụ AI để sử dụng cục bộ, nhưng các công cụ này cần cài đặt CUDA và cần VRAM, do đó tôi muốn nâng cấp lên card có ít nhất 24 gig VRAM..
Tôi có một lựa chọn từ nVidia: RTX 4090 có giá hơn 1700 euro, thực sự đắt.

Tôi đã xem xét các card AMD, như RX 7900xtx, và nó có 24 gig và tôi có thể tiết kiệm được 700 euro. Nhưng sau đó tôi phải loại bỏ các công cụ AI mà tôi muốn sử dụng cục bộ trên máy của mình.

Câu hỏi đặt ra là:
Bây giờ có giải pháp nào cho vấn đề đó không? Ý tôi là, chúng ta có thể sử dụng CUDA với Công cụ AI trong khi có card AMD thay vì nVidia không? Hay tôi vẫn phải dùng card nVidia để đạt được điều đó?
Bạn có ý tưởng, bình luận, giải pháp, khả năng nào không?

Rất cảm ơn vì bất kỳ điều nào ở trên!

CUDA là ngôn ngữ được NVIDIA thiết kế riêng. Rõ ràng là có một giải pháp thay thế -- https://wccftech.com/nvidia-cuda-directly-run-on-amd-gpus-using-scale-toolkit/
Tôi không biết lớp giao diện SCALE hoạt động tốt như thế nào.

 

[apalace]

CUDA là ngôn ngữ được NVIDIA thiết kế riêng. Có vẻ như có một giải pháp thay thế -- https://wccftech.com/nvidia-cuda-directly-run-on-amd-gpus-using-scale-toolkit/
Tôi không biết lớp giao diện SCALE hoạt động tốt như thế nào.

Tuyệt vời, cảm ơn bạn!
Tôi chỉ hy vọng rằng, ai đó có kinh nghiệm thực tế sử dụng card AMD với SCALE này sẽ xác nhận rằng nó thực sự hoạt động như một CUDA, hoặc bất kỳ giải pháp nào có thể mở ra cánh cửa để tôi nâng cấp từ card nVidia lên card AMD.

 

[COLGeek]

Phụ thuộc vào các công cụ bạn đang sử dụng. Ví dụ, khi tôi bắt đầu thử nghiệm với Ollama, nó yêu cầu một thiết bị Nvidia để sử dụng GPU. Bây giờ, nó cũng hỗ trợ một số GPU AMD.

https://ollama.com/blog/amd-preview

 

[apalace]

Phụ thuộc vào các công cụ bạn đang sử dụng. Ví dụ, khi tôi bắt đầu thử nghiệm với Ollama, nó yêu cầu một thiết bị Nvidia để sử dụng GPU. Hiện tại, nó cũng hỗ trợ một số GPU AMD nhất định.

https://ollama.com/blog/amd-preview

Tất cả các loại công cụ khác nhau được đưa ra cho các mục đích sử dụng khác nhau, ví dụ:
ComfyUI, SwarmUI, XTTS RVC UI, Rope Live Stream, LivePortrait, Kohya_GUI, Deep-Live-Cam, MMVCServerSIO, hallo ... v.v.

 

[COLGeek]

Tất cả các loại công cụ khác nhau được đưa ra cho các mục đích sử dụng khác nhau, ví dụ:
ComfyUI, SwarmUI, XTTS RVC UI, Rope Live Stream, LivePortrait, Kohya_GUI, Deep-Live-Cam, MMVCServerSIO, hallo ... v.v.

Hiểu rồi. Bạn sẽ cần đánh giá tính khả thi của từng công cụ để xác định xem GPU AMD có phù hợp với chúng hay không.