Trong bối cảnh lo ngại về mức tiêu thụ điện năng bùng nổ của các trung tâm dữ liệu AI, nhóm nghiên cứu tại Viện Công nghệ Massachusetts (MIT) hôm nay đã công bố một công trình nghiên cứu mang tính bước ngoặt. Công trình giới thiệu phương pháp huấn luyện AI mới mang tên Dynamic Sparsity Routing (DSR).
Thuật toán DSR hoạt động bằng cách phân tích và chủ động 'tắt' các vùng mạng thần kinh không cần thiết trong suốt quá trình lan truyền tiến và lùi (forward and backward pass). Thay vì kích hoạt toàn bộ hàng tỷ tham số cùng lúc, DSR chỉ huy động chính xác các phân vùng tri thức liên quan đến tác vụ hiện tại, giúp giảm lượng phép tính cần xử lý trên GPU.
Kết quả thử nghiệm thực tế trên cụm 1.024 GPU cho thấy năng lượng tiêu thụ giảm tới 75% so với phương pháp huấn luyện truyền thống, trong khi độ chính xác của mô hình sau khi hoàn thành chỉ chênh lệch không đáng kể (dưới 0,2%). Đây được xem là lời giải cho bài toán chi phí năng lượng và tác động môi trường của ngành công nghiệp AI.
Nhiều tập đoàn công nghệ lớn đã bày tỏ sự quan tâm đặc biệt và kế hoạch đưa DSR vào áp dụng thử nghiệm trên các hạ tầng siêu máy tính thương mại trong thời gian tới.