Vấn đề tiêu thụ điện năng khổng lồ của các trung tâm dữ liệu AI luôn là bài toán đau đầu của các tập đoàn công nghệ lớn. Tuy nhiên, một nghiên cứu chung vừa được công bố bởi Viện Công nghệ Massachusetts (MIT) và Google DeepMind đã mở ra một hướng đi đầy triển vọng. Nghiên cứu giới thiệu kiến trúc 'Neuromorphic Transformers' - một phương pháp huấn luyện và vận hành mô hình AI mô phỏng chính xác cách thức hoạt động của các neuron thần kinh sinh học.
Thay vì liên tục tính toán trên toàn bộ mạng lưới như kiến trúc Transformer truyền thống, Neuromorphic Transformers chỉ kích hoạt các vùng neuron thực sự cần thiết cho thông tin đầu vào (cơ chế kích hoạt thưa - sparse activation). Phương pháp này giúp cắt giảm tới 90% lượng điện năng tiêu thụ trong cả quá trình huấn luyện lẫn suy luận (inference), đồng thời giảm đáng kể lượng nhiệt tỏa ra từ các chip tăng tốc đồ họa.
Kết quả thử nghiệm thực tế cho thấy, một mô hình ngôn ngữ quy mô 70 tỷ tham số khi áp dụng kiến trúc mới này có thể chạy mượt mà trên các thiết bị phần cứng thông thường mà không cần đến các hệ thống máy chủ làm mát bằng chất lỏng đắt đỏ. Đây được xem là bước ngoặt lớn giúp phổ cập hóa AI đến các thiết bị di động và biên (edge devices) trong tương lai gần.