Một nhóm nghiên cứu liên hợp giữa MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) và Đại học Tokyo đã công bố một bài báo đột phá trên tạp chí Nature AI về Zero-Shot Multimodal Learning (ZSML). Phương pháp này cho phép một mô hình AI học cách liên kết và tạo ra nội dung đa phương tiện (hình ảnh, âm thanh, video, văn bản) mà không cần huấn luyện riêng cho từng loại dữ liệu.
Trong các thí nghiệm, mô hình ZSML đã thực hiện các tác vụ như tạo video ngắn từ mô tả văn bản, chuyển đổi âm thanh thành hình ảnh và ngược lại, đạt được độ chính xác cao hơn 20% so với các phương pháp truyền thống cần dữ liệu huấn luyện chuyên biệt. Điều này mở ra khả năng ứng dụng rộng rãi trong lĩnh vực sáng tạo nội dung, quảng cáo và giáo dục.
Các nhà nghiên cứu nhấn mạnh rằng ZSML dựa trên kiến trúc transformer đa nhiệm, kết hợp các lớp attention chéo để học mối quan hệ giữa các modality. Họ cũng cung cấp bộ dữ liệu mở và mã nguồn trên GitHub để cộng đồng có thể tái tạo và mở rộng nghiên cứu.
Bài báo đã nhận được sự quan tâm mạnh mẽ từ cộng đồng AI toàn cầu, và nhiều công ty công nghệ đang xem xét tích hợp công nghệ này vào các sản phẩm sáng tạo nội dung tự động và công cụ hỗ trợ người dùng đa phương tiện.