Nhóm nghiên cứu AI của Đại học Stanford đã công bố một phương pháp mới gọi là “Sparse Activation Transformer” (SAT) trong một bài báo được đăng trên tạp chí Nature. Phương pháp này cho phép mô hình Transformer chỉ kích hoạt một phần nhỏ các neuron trong mỗi lớp, giảm đáng kể lượng tính toán và tiêu thụ điện năng.
Theo thí nghiệm, SAT giảm tới 60% năng lượng tiêu thụ so với các Transformer truyền thống khi thực hiện các tác vụ dịch máy và tóm tắt văn bản, trong khi độ chính xác chỉ giảm 1,2% – mức chênh lệch không đáng kể. Kết quả này mở ra khả năng triển khai các mô hình AI mạnh mẽ trên thiết bị di động và các trung tâm dữ liệu có hạn chế năng lượng.
Các nhà nghiên cứu cũng cung cấp mã nguồn mở trên GitHub, kèm theo các công cụ benchmarking để cộng đồng có thể kiểm tra và tối ưu hoá mô hình cho các ứng dụng thực tiễn. Stanford hy vọng SAT sẽ trở thành chuẩn mới cho việc thiết kế mô hình AI bền vững trong tương lai.
Nguồn tin: Nature