Trong sự kiện GTC 2026, NVIDIA đã chính thức công bố HGX B200 Ultra, thế hệ máy chủ AI mới nhất của hãng. Chip này sử dụng kiến trúc Blackwell Ultra, với 192 GB bộ nhớ HBM3e và băng thông 8 TB/s, tăng 40% so với H100 trong các tác vụ suy luận (inference).
Theo các số liệu công bố, HGX B200 Ultra có thể xử lý 1,2 nghìn tỷ tham số trong một cụm 8 GPU với tốc độ 2.500 tokens/giây, so với 1.800 tokens/giây của H100. Điều này đặc biệt quan trọng cho các ứng dụng thực tế đòi hỏi độ trễ thấp, như chatbot thời gian thực và hệ thống hỗ trợ khách hàng.
NVIDIA cũng công bố phần mềm NVIDIA AI Enterprise 5.0, tích hợp các công cụ tối ưu hóa tự động cho việc triển khai mô hình trên HGX B200 Ultra. Phần mềm này có khả năng tự động chọn cấu hình tensor parallelism, pipeline parallelism và expert parallelism phù hợp nhất với từng mô hình, giảm thời gian triển khai từ hàng tuần xuống còn vài giờ.
Giá bán khởi điểm của một cụm HGX B200 Ultra 8-GPU là 4,2 triệu USD, tăng khoảng 15% so với thế hệ trước. Tuy nhiên, NVIDIA nhấn mạnh rằng hiệu suất trên mỗi USD đã tăng 25%, khiến chi phí thực tế cho mỗi token suy luận giảm đáng kể. Sản phẩm dự kiến có mặt tại các nhà phân phối vào quý 1 năm 2027.