Hỏi / Đáp Card đồ họa Nvidia Quadro hỗ trợ AI?

[oliveria]

Xin chào mọi người, tôi sắp tham gia thị trường để thay thế máy trạm di động cũ của mình, tôi đã cố gắng so sánh Quadro A3000 với RTX 3000 và P4200, tôi đã đọc về lõi tensor và cách chúng dành riêng cho AI, mà P4200 không có.

Được rồi, tôi mới tham gia vào lĩnh vực AI và tôi muốn biết việc mua một máy trạm di động có Quadro hỗ trợ AI sẽ tác động đến cuộc sống của tôi như thế nào hoặc tôi có thể tận dụng lõi tensor như thế nào, ở dạng cơ bản chẳng hạn khi hai người sử dụng ChatGTP hoặc Gemini, thì người có máy tính xách tay có Quadro A3000 sẽ có lợi thế như thế nào so với người sử dụng máy tính xách tay không có card đồ họa nào trong kết quả tìm kiếm mà chatgpt đưa ra.

Hoặc ai đó có thể giải thích cho tôi cách tôi sẽ được hưởng lợi về mặt AI nếu tôi sử dụng ví dụ A3000 và để lại máy có P4200 và A3000 cũng có ít lõi tensor hơn so với RTX 3000 mặc dù mới hơn và chạy trên công nghệ thạch bản 8nm. Có bí mật ẩn giấu nào trong số lõi tensor so sánh này không? Tôi rất mong nhận được phản hồi của bạn.

 

[Eximo]

AI mà bạn đang chạy cục bộ sẽ hoạt động nhanh hơn hoặc cho phép tải các tập dữ liệu lớn hơn. Hầu hết AI dễ truy cập đều được chạy bên ngoài trên các máy chủ lớn, vì vậy hệ thống của bạn không quan trọng trong những trường hợp đó.

Một số CPU mới hơn đi kèm với NPU là các phần của CPU dành riêng cho loại toán học mà các tác vụ AI được hưởng lợi. Điều này nhằm mục đích tăng hiệu quả, không phải hiệu suất. Và hiện nay có rất ít người sử dụng nó, nhưng có thể sẽ sớm thôi. Những thứ như Microsoft Recall là một ý tưởng, nhưng nhìn chung có vẻ như đó là một ý tưởng tồi.

Mỗi thế hệ lõi Tensor và Ray Tracing đều khác nhau và không thể so sánh trực tiếp. Mỗi thế hệ đều nhanh hơn theo như tôi biết. Vì vậy, một GPU mới hơn, nhỏ hơn có thể hoàn thành công việc hiệu quả hơn. Đó là nơi mà một nhiệm vụ rất cụ thể cần được xem xét và các điểm chuẩn được xem xét để so sánh.

GPU cục bộ có thể được sử dụng để tải hoặc đào tạo các Mô hình ngôn ngữ lớn tạo nên AI của người tiêu dùng, bao gồm những thứ như tạo hình ảnh, tạo video (có khả năng), có một chatbot cục bộ và một số nhiệm vụ liên quan đến AI khác.

Các công dụng phổ biến hơn của GPU sẽ là mã hóa/giải mã video chuẩn (chuyển đổi, video, nén video hoặc giải mã video phát trực tiếp trong trình duyệt của bạn), Chỉnh sửa ảnh (bộ lọc và hiệu ứng), đồ họa 3D (Trò chơi), Mô hình hóa 3D (AutoCAD/Solidworks/Rhino/Unreal/Unity/v.v.), Hội nghị truyền hình (thay thế nền), Hội nghị âm thanh (lọc âm thanh hỗ trợ, khử tiếng ồn), Mô hình hóa và tính toán toán học, Nghiên cứu y tế.

 

[oliveria]

Tuyệt, cảm ơn rất nhiều vì lời giải thích hay, miễn là tôi có một chiếc quadro được hỗ trợ AI với lõi tensor, tôi sẽ có khoảng thời gian tuyệt vời khi làm việc với các chương trình như chatgpt hoặc copilot và các chương trình khác như gemini, tôi sẽ cân nhắc sử dụng thứ gì đó như Quadro RTX A3000 thay vì RTX 3000, hy vọng điều này sẽ hữu ích

 

[Eximo]

Tuyệt, cảm ơn bạn rất nhiều vì lời giải thích hay, miễn là tôi có một chiếc quadro được hỗ trợ AI với lõi tensor, tôi sẽ có khoảng thời gian tuyệt vời khi làm những việc như chatgpt hoặc copilot và những thứ khác như gemini, tôi sẽ cân nhắc sử dụng thứ gì đó như Quadro RTX A3000 thay vì RTX 3000, hy vọng điều này sẽ hữu ích

Không chắc bạn đã hiểu chưa.

Vì vậy, rất nhiều công cụ đó đều trực tuyến, quá trình xử lý được thực hiện trên các máy chủ từ xa. Chúng không chạy trên máy cục bộ của bạn chút nào.

Bạn có thể tải các phiên bản mã nguồn mở của chatGPT, LLama, v.v. và tự chạy chúng, với một số thiết lập. Nhưng đó sẽ là một công cụ riêng biệt, nơi bạn duy trì dữ liệu đầu vào và đào tạo. Sau đó, bạn bị giới hạn bởi lượng VRAM trên GPU về các tập dữ liệu có thể được tải.

 

[oliveria]

Được rồi, giả sử hầu hết mọi người đều truy cập AI trực tuyến qua máy chủ, ngay cả những người có máy tính không có card đồ họa, thì có thực sự có sự khác biệt nào giữa tôi và một người nào đó không có card đồ họa khi hai chúng tôi sử dụng AI qua máy chủ trực tuyến hay không, hoặc làm thế nào tôi có thể tận dụng lợi thế nếu một quadro cad như rtx A3000 và vượt trội hơn một người nào đó có máy tính không có card đồ họa về mặt AI

 

[Eximo]

Tôi không thực sự chắc chắn làm thế nào để thêm bất cứ điều gì bổ sung ở đây.

Nếu bạn đang sử dụng các dịch vụ trực tuyến, bất kỳ phần cứng và phần mềm nào họ đang chạy sẽ tương đương với tất cả người dùng. Có thể có các mức giá và những thứ khác như vậy, tất nhiên là các dịch vụ khác nhau.

Một lần nữa, GPU có khả năng chạy các công cụ AI. Bạn chỉ cần thiết lập chúng. Trải nghiệm của bạn sẽ phụ thuộc vào kiểu máy bạn sử dụng, dữ liệu bạn cung cấp cho nó và thời gian thực hiện sẽ phụ thuộc vào tốc độ của GPU. Một số kiểu máy sẽ bị giới hạn bởi lượng VRAM bạn có. Vì vậy, kiểu máy 8GB sẽ ít 'hiểu biết' hoặc chính xác hơn kiểu máy 16GB hoặc 24GB. Phụ thuộc rất nhiều vào kiểu máy bạn tải và mục đích bạn đang cố gắng đạt được.

Tôi không thể nói nhiều về tương lai, nhưng tại một thời điểm nào đó, có thể có các tùy chọn AI cục bộ có sẵn trong Windows cho phần cứng nói chung, nhưng hiện tại chúng ta chưa có.

Windows có các yêu cầu rất nghiêm ngặt đối với nội dung AI cục bộ của họ. Điều đó có nghĩa là một CPU hoàn toàn mới. Hoặc là dòng Intel 200, Qualcomm Snapdragon hoặc hai thế hệ mới nhất của AMD có AI trong tên CPU. Họ sẽ bắt đầu thấy một số công cụ AI cục bộ không yêu cầu người dùng thiết lập trong thời gian ngắn sắp tới. Tuy nhiên, đến lúc có thứ gì đó được chuẩn hóa, chúng ta sẽ vượt xa những sản phẩm thế hệ đầu tiên này và Nvidia có thể sẽ đi trước Ada ít nhất hai hoặc ba kiến trúc GPU. (Blackwell sẽ ra mắt vào đầu năm sau)

 

[oliveria]

Tuyệt, giờ tôi hiểu ý bạn rồi. Cảm ơn bạn rất nhiều vì đã giải thích rõ ràng!!