NVIDIA TensorRT For RTX mang lại hiệu suất tăng gấp 2 lần cho máy tính để bàn, được hỗ trợ bởi tất cả GPU RTX

[theanh]

TensorRT AI của NVIDIA hiện đã có trên GPU GeForce RTX, mang lại hiệu suất tăng gấp 2 lần so với DirectML.

NVIDIA cung cấp khả năng tăng tốc AI gấp 2 lần so với DirectML với TensorRT, khả dụng trên tất cả các GPU RTX​

Hôm nay, NVIDIA thông báo rằng họ sẽ đưa TensorRT vào nền tảng RTX của mình. Với TensorRT, người tiêu dùng nói chung đang chạy GPU RTX sẽ có thể có hiệu suất nhanh hơn thông qua phần phụ trợ suy luận được tối ưu hóa.

Với TensorRT, người dùng sẽ có thể thấy hiệu suất tăng gấp 2 lần trong các ứng dụng AI so với DirectML. TensorRT cũng được Windows ML hỗ trợ gốc và cần lưu ý rằng TensorRT-LLM đã có sẵn trên Windows.

Bộ phần mềm AI PC ngày nay yêu cầu các nhà phát triển phải lựa chọn giữa các khuôn khổ có hỗ trợ phần cứng rộng nhưng hiệu suất thấp hơn hoặc các đường dẫn được tối ưu hóa chỉ bao gồm một số loại phần cứng hoặc mô hình nhất định và yêu cầu nhà phát triển phải duy trì nhiều đường dẫn. Khuôn khổ suy luận Windows ML mới được xây dựng để giải quyết những thách thức này.

Windows ML được xây dựng trên ONNX Runtime và kết nối liền mạch với lớp thực thi AI được tối ưu hóa do mỗi nhà sản xuất phần cứng cung cấp và duy trì. Đối với GPU GeForce RTX, Windows ML tự động sử dụng TensorRT cho RTX — một thư viện suy luận được tối ưu hóa để có hiệu suất cao và triển khai nhanh chóng. So với DirectML, TensorRT cung cấp hiệu suất nhanh hơn 50% cho khối lượng công việc AI trên PC.

Windows ML cũng mang lại lợi ích về chất lượng cuộc sống cho nhà phát triển. Nó có thể tự động chọn phần cứng phù hợp để chạy từng tính năng AI và tải xuống nhà cung cấp thực thi cho phần cứng đó, loại bỏ nhu cầu đóng gói các tệp đó vào ứng dụng của họ. Điều này cho phép NVIDIA cung cấp các tối ưu hóa hiệu suất TensorRT mới nhất cho người dùng ngay khi họ sẵn sàng. Và vì được xây dựng trên ONNX Runtime, Windows ML hoạt động với bất kỳ mô hình ONNX nào.

Nhưng hiệu suất không chỉ là khía cạnh chính của TensorRT dành cho RTX. Phần phụ trợ mới cho phép kích thước tệp thư viện nhỏ hơn 8 lần và cũng đi kèm với các tối ưu hóa Just-in-time cho mỗi GPU. TensorRT cho RTX sẽ có mặt vào tháng 6 trên tất cả các GPU NVIDIA GeForce RTX tại developer.nvidia.com.

Trong một trong những slide về hiệu suất, NVIDIA giới thiệu những cải tiến về hiệu suất AI với TensorRT so với DirectML. Trong ComfyUI, người dùng có thể tăng hiệu suất gấp 2 lần, trong khi DaVinci Resolve và Vegas Pro tăng 60%. Điều này giúp tăng thời gian chạy và quy trình làm việc của AI, cho phép GPU RTX và PC RTX phát huy hết tiềm năng của chúng.










2 trong số 9
Những cải tiến phần mềm của NVIDIA không dừng lại ở đó, vì công ty đang cung cấp năng lượng cho hơn 150 SDK AI với 5 tích hợp ISV hoàn toàn mới sẽ ra mắt trong tháng này. Những tích hợp này bao gồm:

• LM Studio (hiệu suất tăng 30% với CUDA mới nhất)
• Topaz Video AI (CUDA tăng tốc GenAI Video)
• Bilibili (NVIDIA Broadcast Effects)
• AutoDesk VRED (DLSS 4)
• Chaos Enscape (DLSS 4)

NVIDIA cũng giới thiệu NIM và AI Blueprint mới, thậm chí bao gồm cả các Plugin mới cho Project G-Assist, chẳng hạn như tích hợp Discord, Gemini, IFTTT, Twitch, Spotify và SignalRGB. Tất nhiên, người dùng cũng có tùy chọn xây dựng plugin của họ cho Project G-Assist bằng cách truy cập github.com/NVIDIA/G-Assist.