Nhóm nghiên cứu thuộc Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT (CSAIL) hôm nay đã công bố một công trình nghiên cứu mang tính đột phá trên tạp chí Nature Machine Intelligence. Công trình giới thiệu cơ chế chú ý biến đổi liên tục có tên gọi 'Liquid Neural Attention' (LNA), hứa hẹn giải quyết bài toán tiêu thụ năng lượng khủng khiếp của ngành công nghiệp AI.
Trong các mô hình Transformer hiện nay, cơ chế chú ý (attention mechanism) yêu cầu tính toán ma trận với chi phí tăng theo bình phương độ dài chuỗi đầu vào. Cơ chế LNA giải quyết triệt để vấn đề này bằng cách áp dụng các phương trình vi phân liên tục, cho phép mô hình chỉ tập trung năng lực tính toán vào các vùng dữ liệu thực sự quan trọng tại từng thời điểm.
Kết quả thử nghiệm thực tế cho thấy, một mô hình LLM sử dụng kiến trúc LNA có thể đạt hiệu suất tương đương với các mô hình Transformer hàng đầu hiện nay nhưng chỉ tiêu thụ khoảng 15% năng lượng điện và giảm 70% dung lượng bộ nhớ RAM yêu cầu trong quá trình suy luận (inference).
Đột phá này được kỳ vọng sẽ mở ra kỷ nguyên mới cho các mô hình AI xanh, cho phép tích hợp các AI siêu mạnh vào các thiết bị di động, drone và xe tự lái mà không lo ngại về vấn đề cạn kiệt pin hay quá nhiệt.