Nhà nghiên cứu tại MIT vừa công bố một mô hình Transformer đa ngôn ngữ mới, được đặt tên là TinyM2M. Với kích thước chỉ 45 MB, TinyM2M có thể chạy trực tiếp trên các thiết bị di động mà không cần kết nối internet.
Mô hình đạt được độ chính xác trung bình 86 % trên bộ dữ liệu multilingual‑GLUE, chỉ cách các mô hình lớn hơn 5 % nhưng tiêu thụ tài nguyên gấp 20 lần ít hơn. TinyM2M sử dụng kỹ thuật “parameter sharing” và “dynamic quantization” để giảm số lượng tham số mà không làm mất chất lượng dịch.
MIT nhấn mạnh tiềm năng ứng dụng trong các khu vực không có hạ tầng mạng mạnh, như vùng nông thôn châu Phi hoặc các khu vực khẩn cấp. Người dùng có thể tải ứng dụng dịch thuật offline, thực hiện các cuộc hội thoại đa ngôn ngữ trong thời gian thực.
Bài báo chi tiết đã được đăng trên tạp chí Nature Machine Intelligence và mã nguồn sẽ được phát hành trên GitHub vào tuần tới, khuyến khích cộng đồng đóng góp cải tiến cho các ngôn ngữ ít tài nguyên.