Hỏi / Đáp Phần cứng nào dành cho AI...

[SPECOPS70]

Xin chào tất cả.

Ngoài việc mua một chiếc Threadripper giá 1200 đô la và một chiếc 4090 giá 1800 đô la, các bạn có thể giới thiệu phần cứng nào?

Tôi đã cài đặt Ollama, Docker Desktop và Open Web UI. Sau đó, từ đó, tôi cài đặt các mô hình như Deepseek R1, Llama 3.2, v.v.

Tôi muốn xây dựng một hệ thống có thể chạy các chương trình như Llama hoặc Deepseek ở thông số cao. Tôi biết phần cứng càng cao cấp thì hiệu suất càng tốt khi sử dụng các chương trình AI.

Các bạn có thể giới thiệu CPU, Mobo và GPU nào ngoài những thứ trên để chạy mượt mà không?

Ví dụ: Tôi vừa trò chuyện với Deepseek ở thông số 7b và nó chạy mượt. Tôi đã thử 8b và vẫn ổn. Đã thử 14b và mất khoảng 2 phút để DS trả lời câu hỏi của tôi.

Sự cố này xảy ra trên máy tính xách tay của vợ tôi. Đây là rog zepherus g16 gu605mi. Nó có CPU ultra 9 và rtx 4070.

mọi lời khuyên về các loại phần cứng và giá cả khác nhau sẽ được đánh giá cao.

cảm ơn

 

[Lutfij]

Theo tôi biết, #B càng cao thì bạn càng cần nhiều ram. Đối với CPU, hầu hết đều nêu rằng bạn sẽ cần một bộ xử lý đa lõi nhưng chắc chắn tất cả các ứng dụng AI này sẽ cần RTX để bạn có thể bắt đầu.

https://github.com/open-webui/open-webui/discussions/736

Yêu cầu của Llama 3.2 [Những gì bạn cần để sử dụng?] ​

Llama 3.2 đại diện cho một bước tiến đáng kể trong lĩnh vực mô hình ngôn ngữ AI. Với các biến thể từ tham số 1B đến 90B, loạt bài này cung cấp các giải pháp cho nhiều ứng dụng, từ thiết bị biên đến triển khai đám mây quy mô lớn. Yêu cầu hướng dẫn Llama 3.2 1B Thể loại...

llamaimodel.comhttps://vagon.io/blog/hướng-dẫn-từng-bước-để-chạy-deepseek-r1-trên-vagon-cloud-desktops

Yêu cầu hệ thống GPU để chạy DeepSeek-R1​

Yêu cầu hệ thống GPU để chạy DeepSeek-R1 và các mô hình tinh chế của nó một cách hiệu quả, cùng với các khuyến nghị để chọn phần cứng phù hợp với nhu cầu của bạn.

apxml.com
Câu hỏi đặt ra là bạn đang hướng tới loại mô hình #B nào và Bạn đang xem xét mức ngân sách nào cho bản dựng của mình?

 

[QyInvoLing]

Không cần TR, chỉ cần mua một CPU bình thường và dành phần lớn ngân sách cho card đồ họa

 

[SPECOPS70]

Khoảng 3000.