Đột phá từ Stanford: Kiến trúc 'Neural-Kan' chính thức thách thức ngôi vương của Transformer trong xử lý AI

Trong một bài báo nghiên cứu gây chấn động được công bố hôm nay, nhóm nghiên cứu AI tại Đại học Stanford đã giới thiệu 'Neural-Kan' (Kolmogorov-Arnold Networks thế hệ mới), một kiến trúc mạng nơ-ron hoàn toàn mới được thiết kế để thay thế cho kiến trúc Transformer vốn đã thống trị thế giới AI suốt gần một thập kỷ qua. Kiến trúc Transformer truyền thống dựa trên các lớp Multi-Layer Perceptrons (MLPs) với các trọng số cố định trên các kết nối (nodes). Ngược lại, Neural-Kan áp dụng định lý toán học Kolmogorov-Arnold, đặt các hàm kích hoạt có thể học được trực tiếp lên các cạnh kết nối (edges) thay vì các nút. Sự thay đổi mang tính nền tảng này cho phép Neural-Kan biểu diễn các mối quan hệ toán học và ngôn ngữ phức tạp với số lượng tham số ít hơn nhiều lần so với Transformer. Kết quả thử nghiệm thực tế cho thấy, một mô hình Neural-Kan với chỉ 2 tỷ tham số có thể đạt được hiệu năng tương đương, thậm chí vượt trội hơn một mô hình Transformer 8 tỷ tham số trong các tác vụ dịch thuật, giải toán và phân tích mã nguồn. Quan trọng hơn, Neural-Kan tiêu thụ ít hơn 70% điện năng trong quá trình huấn luyện và có tốc độ suy luận nhanh gấp 3 lần trên các phần cứng thông thường. Điều này mở ra cơ hội đưa các mô hình AI siêu trí tuệ chạy trực tiếp trên các thiết bị di động và IoT mà không cần kết nối đám mây. Nghiên cứu này ngay lập tức nhận được sự đánh giá cao từ các chuyên gia đầu ngành. Nhiều người nhận định rằng Neural-Kan chính là mảnh ghép còn thiếu để giải quyết cuộc khủng hoảng năng lượng và phần cứng mà ngành công nghiệp AI đang phải đối mặt, đồng thời mở đường cho một thế hệ AI xanh, thân thiện với môi trường và dễ tiếp cận hơn.