Bộ tăng tốc AI Gaudi 3 của Intel hiện đã có trên IBM Cloud; Thử nghiệm cho thấy hiệu suất nhanh hơn GPU AI H100 & H200 của NVIDIA

[theanh]

Bộ tăng tốc AI Gaudi 3 của Intel đã chính thức được IBM Cloud áp dụng. Đây là lần đầu tiên một CSP áp dụng Gaudi 3 vào danh mục đầu tư của mình, một bước phát triển thú vị.

IBM trở thành CSP đầu tiên cung cấp Gaudi 3 của Intel cho khách hàng, mang đến giải pháp thay thế tiết kiệm chi phí cho NVIDIA​

Dự án AI của Team Blue không mấy sáng sủa như các đối thủ cạnh tranh, vì công ty này không tận dụng được cơn sốt AI ngay từ đầu. Công ty vẫn chưa thể chiếm lĩnh được ngành công nghiệp ngay cả bây giờ, đó là lý do tại sao tỷ lệ áp dụng dòng sản phẩm AI Gaudi của Intel lại thấp hơn nhiều. Tuy nhiên, IBM Cloud đã trở thành CSP đầu tiên tiết lộ tính khả dụng của bộ tăng tốc AI Gaudi 3 của Intel và theo CSP, đây là nỗ lực nhằm cung cấp các giải pháp tiết kiệm chi phí cho khách hàng.

Bằng cách đưa bộ tăng tốc AI Gaudi 3 của Intel vào IBM Cloud, chúng tôi đang cho phép các doanh nghiệp hỗ trợ mở rộng quy mô khối lượng công việc AI tạo ra với hiệu suất được tối ưu hóa để suy luận và tinh chỉnh. Sự hợp tác này nhấn mạnh cam kết chung của chúng tôi trong việc giúp AI dễ tiếp cận hơn và tiết kiệm chi phí hơn cho các doanh nghiệp trên toàn thế giới.

- Saurabh Kulkarni, Phó chủ tịch Intel

Khách hàng có thể truy cập vào khả năng tính toán của bộ tăng tốc AI Gaudi 3 bằng Máy chủ ảo đám mây của IBM và điều thú vị là Signal65 đã thử nghiệm bộ tăng tốc này trên nền tảng và đã tiết lộ hiệu suất so với GPU dựa trên H100 và H200 của NVIDIA. Đây cũng sẽ là lần đầu tiên Intel Gaudi 3 được thử nghiệm ngoài các thử nghiệm nội bộ và kết quả cho thấy Intel có thể tạo ra một cuộc cạnh tranh trong phân khúc AI nếu họ chơi đúng bài.

Các điểm chuẩn cho thấy bộ tăng tốc mới nhất của Intel vượt trội hơn bộ tăng tốc AI NVIDIA H100 và H200 trên cả hai mô hình Granite (8B) của IBM và Llama-3.1 của Meta. Các thông số cụ thể cho từng lần chạy thử nghiệm, nghĩa là trong các trường hợp sử dụng thực tế, Gaudi 3 của Intel có thể không phản ánh cùng hiệu suất, nhưng những kết quả này rất thú vị. Các điểm chuẩn được thực hiện thêm trên các kích thước đầu vào thay đổi và đây là những gì Signal65 kết luận:

Gaudi 3 duy trì hiệu suất cạnh tranh cao so với NVIDIA H200 và H100 trên nhiều cấu hình khác nhau, thể hiện khả năng ứng dụng rộng rãi của nó vào nhiều trường hợp sử dụng AI khác nhau.

Ngoài ra, Gaudi 3 của Intel có sẵn trên IBM Cloud với mức giá thấp hơn so với các đối tác của Team Green, khiến nó trở thành lựa chọn lý tưởng cho những khách hàng đang tìm kiếm một tùy chọn tính toán tiết kiệm chi phí. Nhìn chung, có thể nói rằng Gaudi 3 của Intel có thể là một sản phẩm ấn tượng, nếu nó được tiếp thị và áp dụng đúng cách. Mặc dù chắc chắn không thể bắt chước các tùy chọn của NVIDIA về mức độ phổ biến và hiệu suất, Gaudi 3 là một lựa chọn thay thế khả thi.