Một nhóm nghiên cứu tại MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) đã công bố thuật toán “Neuro‑Sparse” trong tạp chí Nature Machine Intelligence. Thuật toán này dựa trên việc lựa chọn động thái (activation) thưa thớt trong quá trình huấn luyện, giảm thiểu việc tính toán các neuron không cần thiết.
Kết quả thí nghiệm trên mô hình ngôn ngữ 10 tỷ tham số cho thấy năng lượng tiêu thụ giảm tới 70% so với phương pháp Adam thông thường, đồng thời độ chính xác chỉ giảm 0.3% – mức chấp nhận được cho hầu hết các ứng dụng thực tế. Thuật toán còn hỗ trợ việc huấn luyện trên các GPU tiêu chuẩn, không yêu cầu phần cứng đặc biệt.
Các nhà nghiên cứu tin rằng Neuro‑Sparse sẽ là giải pháp quan trọng để giảm lượng carbon phát thải của các trung tâm dữ liệu AI, đáp ứng các yêu cầu về bền vững môi trường. Họ đang mở rộng nghiên cứu sang các mô hình đa phương tiện như Vision‑Language Transformers.
Bài báo đã được công bố trên arXiv và đang trong quá trình xem xét để xuất bản chính thức. MIT sẽ tổ chức một hội thảo trực tuyến vào cuối tháng này để giới thiệu chi tiết thuật toán và cung cấp mã nguồn mở cho cộng đồng.