Ngày 20/09/2026, nhóm nghiên cứu AI của Đại học Stanford đã công bố một mô hình mới mang tên “SuperTransformer‑10B”. Đây là một kiến trúc Transformer với 10 tỷ tham số, được thiết kế để tối ưu hoá việc học sâu trên các tập dữ liệu ngôn ngữ lớn.
SuperTransformer‑10B sử dụng cơ chế “Hierarchical Self‑Attention” cho phép mô hình tập trung vào các mức ngữ cảnh khác nhau, từ từ vựng tới đoạn văn dài. Nhờ vào cấu trúc này, mô hình đạt độ chính xác 99,2% trên bộ benchmark GLUE, vượt trội hơn 3,5 điểm so với các mô hình hiện tại.
Các nhà nghiên cứu cũng đưa ra một phương pháp huấn luyện mới gọi là “Curriculum Data Augmentation”, giúp mô hình học nhanh hơn và giảm thiểu overfitting. Thử nghiệm trên các tác vụ dịch máy và tóm tắt văn bản cho thấy tốc độ suy luận nhanh gấp 2 lần so với các mô hình cùng kích thước.
Kết quả này đã được công bố trên tạp chí MIT Technology Review và đang thu hút sự quan tâm của cộng đồng AI toàn cầu, mở ra cơ hội cho các ứng dụng đòi hỏi độ chính xác cao như y tế và pháp lý.