Nvidia vừa công bố H200, thế hệ chip AI mới nhất được thiết kế đặc biệt cho các tác vụ suy luận (inference) thay vì huấn luyện (training). Điểm khác biệt chính của H200 là bộ nhớ HBM3e với băng thông 4.8TB/s, gấp đôi so với H100, cho phép xử lý các mô hình ngôn ngữ lớn với độ trễ thấp hơn đáng kể.
Kiến trúc tensor core mới của H200, được gọi là 'Tensor Core 5', hỗ trợ các phép tính với độ chính xác thấp hơn (FP8 và INT4) mà vẫn giữ được chất lượng đầu ra, giúp tăng gấp 5 lần hiệu suất suy luận so với H100. Điều này có nghĩa là các công ty có thể phục vụ cùng một lượng yêu cầu AI với ít phần cứng hơn, hoặc phục vụ nhiều yêu cầu hơn với cùng một lượng phần cứng.
Nvidia cũng giới thiệu một bộ công cụ phần mềm mới, 'Inference Optimizer', giúp các nhà phát triển tự động tối ưu hóa các mô hình AI để chạy hiệu quả trên H200. Công cụ này có thể giảm kích thước mô hình mà không làm mất chất lượng, thông qua kỹ thuật pruning và quantization tự động.
Chiến lược tập trung vào suy luận của Nvidia phản ánh xu hướng thị trường, nơi số lượng yêu cầu AI tăng trưởng nhanh hơn nhiều so với tốc độ phát triển các mô hình mới. Các nhà phân tích dự báo rằng thị trường chip AI cho suy luận sẽ đạt 50 tỷ USD vào năm 2027, chiếm 60% tổng thị trường chip AI. Nvidia kỳ vọng H200 sẽ được các nhà cung cấp đám mây lớn như AWS, Google Cloud và Azure tích hợp vào các dịch vụ của họ trong quý 1 năm 2027.