Intel Gaudi 3 – Không nhanh hơn NVIDIA H100 nhưng giá rẻ hơn rất nhiều

Mảng sản phẩm dành cho doanh nghiệp của Intel vừa có những bước tiến mới. Trong lĩnh vực CPU, công ty đã lấy lại vị trí dẫn đầu với dòng sản phẩm Xeon 6900P (Granite Rapids) sau một thời gian dài không còn ở vị trí cao nhất. Còn trong lĩnh vực trí tuệ nhân tạo, Intel Gaudi 3 không đặt mục tiêu cạnh tranh vị trí số một mà hướng đến việc thu hút nhiều khách hàng hơn với giá thành thấp hơn đáng kể so với các đối thủ.

Trước hết, Intel Gaudi 3 là một thiết kế chiplet – cụ thể là bao gồm nhiều die AI (trong khi Gaudi 2 chỉ sở hữu một die AI cùng với các die bộ nhớ HBM). Nó bao gồm hai die AI được bố trí cạnh nhau và được bao quanh bởi tám die HBM2e với tổng dung lượng 128 GB. Dù có dung lượng bộ nhớ lớn, HBM2e vẫn là một chuẩn nhớ cũ, do đó bộ tăng tốc AI này có phần “thiệt thòi” hơn so với các đối thủ sử dụng HBM3 từ AMD và NVIDIA.

Về mặt kỹ thuật, cả hai die AI Gaudi 3 tổng cộng có 64 TPC, 8 MME, 96 MB SRAM và 24 cổng giao tiếp Ethernet, mang lại băng thông tổng cộng lên tới 1200 GB/s mỗi hướng. Gaudi 3 cũng được trang bị thêm 16 lane giao tiếp PCIe 5.0, cho phép nó tương tác với các CPU Xeon dưới dạng máy chủ. Bên cạnh đó, Intel còn tích hợp thêm 14 bộ decoder nhằm tăng tốc quá trình giải mã các định dạng hình ảnh như H.265, H.264, JPEG, VP9. So với phiên bản trước, Gaudi 2 chỉ có 24 TPC, 2 MME, 48 MB SRAM và 96 GB HBM2e, cho thấy Gaudi 3 có sức mạnh vượt trội hơn rất nhiều.

Dù vậy, Intel Gaudi 3 có một nhược điểm là không hỗ trợ các toán tử TF32, FP32 và FP16 như Gaudi 2, mà chỉ tương thích với FP8 và BF16. Điều này cho thấy Gaudi 3 chủ yếu là một bộ tăng tốc AI. Nó sẽ không khả dụng cho các ứng dụng siêu máy tính nếu cần xử lý FP32 hoặc cao hơn. H100 vẫn duy trì hỗ trợ cho FP32, FP64, TF32 và FP16.

Về hình thức vật lý, Intel Gaudi 3 được cung cấp dưới ba dạng: PCIe (HL-338), OAM (HL-325L) và bo mạch cơ sở gồm 8 chip OAM (HLB-325). Tại sự kiện Computex vào tháng 6 vừa qua, Intel đã công bố rằng một rack server chứa 8 chip Gaudi 3 có giá 125,000 USD, tức là mỗi chip có giá trung bình khoảng 15,625 USD. Hiện tại, một card H100 có giá trên 30,000 USD, cho thấy giá của Gaudi 3 chỉ bằng một nửa so với sản phẩm tương đương của NVIDIA.

Về mặt hiệu suất, Intel Gaudi 3 có ba phiên bản với cùng cấu hình TDP 600 W, do đó có thể không có sự khác biệt về sức mạnh giữa chúng (trong khi hai phiên bản SXM và PCIe của H100 lại có sự chênh lệch). Theo Intel, khi thực hiện tính toán với ma trận BF16/FP8, Gaudi 3 đạt tốc độ 1835 TFlops, còn đối với vector BF16 thì là 28.7 TFlops. Con số này bên H100 (phiên bản SXM) lần lượt là 1979 TFlops cho BF16 (ma trận), 3958 TFlops cho FP8 (ma trận) và 1979 TFlops cho BF16 (vector). Tuy nhiên, khi so sánh khả năng xử lý mô hình LLaMA 3, Intel cho biết Gaudi 3 có sức mạnh vượt trội hơn H100 1.09 lần ở mức 8 tỷ tham số và 1.19 lần ở mức 70 tỷ tham số. Thông tin này cho thấy rằng ngoài phần cứng, cấu trúc phần mềm cũng đóng vai trò quan trọng trong việc ảnh hưởng đến hiệu suất tính toán thực tế.

Hiện nay, Gaudi hỗ trợ nhiều mô hình trí tuệ nhân tạo phổ biến trên toàn cầu, kết hợp với các thư viện và ngôn ngữ lập trình khác nhau. Khách hàng có thể trải nghiệm sức mạnh của Gaudi 3 thông qua dịch vụ đám mây Tiber Developer từ công ty hoặc trên nền tảng IBM Cloud. Nếu muốn trải nghiệm trực tiếp, các hệ thống máy chủ tích hợp Intel Gaudi 3 sẽ được cung cấp bởi các thương hiệu như Dell, HP và Supermicro, dự kiến sẽ có mặt vào quý 4 năm 2024.

Theo Tinhte.vn