Ngày 23/09/2026, nhóm nghiên cứu AI của MIT đã công bố một kiến trúc Transformer mới mang tên Sparse‑Shift Transformer (SST). Kiến trúc này kết hợp kỹ thuật “sparse attention” với cơ chế dịch chuyển (shift) dữ liệu, cho phép mô hình chỉ tính toán trên một phần nhỏ của ma trận attention mà vẫn duy trì thông tin ngữ cảnh đầy đủ.
Kết quả thí nghiệm cho thấy SST đạt được tốc độ xử lý nhanh gấp 10 lần so với các mô hình Transformer truyền thống khi huấn luyện trên bộ dữ liệu Llama‑2 70B, đồng thời giảm tiêu thụ năng lượng lên tới 45%. Độ chính xác trong các benchmark GLUE và SuperGLUE chỉ giảm không quá 0.3%.
Những cải tiến này mở ra khả năng triển khai các mô hình ngôn ngữ lớn trên các thiết bị có tài nguyên hạn chế, như điện thoại thông minh và các edge device. Nhóm nghiên cứu đã công bố mã nguồn và mô hình tiền huấn luyện trên GitHub, kèm theo bộ công cụ đánh giá hiệu năng.
Bài báo được xuất bản trên tạp chí Nature Machine Intelligence và đã nhận được sự chú ý rộng rãi từ cộng đồng AI, với hơn 1.200 lượt tải xuống trong 24 giờ đầu tiên.