Trong một bài báo vừa được công bố trên tạp chí Nature Machine Intelligence, các nhà nghiên cứu từ Đại học Stanford đã giới thiệu một phương pháp tối ưu hóa mạng nơ-ron mang tên 'Adaptive Sparse Connectivity'. Kỹ thuật này cho phép loại bỏ đến 90% các kết nối (weights) trong mạng nơ-ron mà vẫn giữ nguyên khả năng suy luận của mô hình, từ đó giảm đáng kể lượng điện năng tiêu thụ khi chạy các tác vụ AI.
Khác với các phương pháp pruning truyền thống thường thực hiện sau quá trình huấn luyện, 'Adaptive Sparse Connectivity' tích hợp quá trình cắt tỉa ngay trong vòng lặp huấn luyện. Mô hình tự học cách xác định những kết nối nào là quan trọng và những kết nối nào có thể bị loại bỏ dựa trên độ nhạy cảm của chúng đối với dữ liệu đầu vào. Kết quả là mô hình trở nên 'gầy' hơn về mặt cấu trúc nhưng vẫn 'mạnh' về mặt chức năng.
Tác giả chính của nghiên cứu, Giáo sư Jennifer Lee, cho biết: 'Phát hiện này có ý nghĩa to lớn cho việc triển khai AI trên quy mô lớn. Nếu chúng ta có thể giảm 90% năng lượng tiêu thụ, chi phí vận hành các data center AI sẽ giảm mạnh, đồng thời giảm thiểu dấu chân carbon của ngành công nghệ.' Nghiên cứu này đã được kiểm chứng trên các mô hình ngôn ngữ lớn và thị giác, với kết quả nhất quán trên nhiều bộ dữ liệu khác nhau. Code và dữ liệu nghiên cứu đã được chia sẻ công khai để cộng đồng có thể tái hiện và phát triển thêm.