Các nhà nghiên cứu tại Viện Công nghệ Massachusetts (MIT) đã công bố một nghiên cứu mang tên “Zero‑Shot Multimodal Reasoning” (ZSMR) trên tạp chí Science Daily. Mô hình này cho phép máy tính thực hiện các tác vụ suy luận phức tạp trên dữ liệu đa phương tiện mà không cần quá trình fine‑tune chuyên biệt cho từng loại dữ liệu.
ZSMR dựa trên kiến trúc Transformer đa mô hình, kết hợp các encoder riêng biệt cho hình ảnh, video, âm thanh và văn bản. Nhờ vào cơ chế “Cross‑Modal Attention”, mô hình có thể tự động liên kết thông tin giữa các kênh dữ liệu, ví dụ như trả lời câu hỏi “Ai đang nói trong đoạn video này?” chỉ dựa trên âm thanh và khung hình.
Thử nghiệm trên bộ dữ liệu “MMQA‑2026” cho thấy ZSMR đạt điểm F1 trung bình 78%, vượt qua các mô hình hiện trạng lên tới 20% trong các nhiệm vụ zero‑shot. Các nhà nghiên cứu hy vọng công nghệ này sẽ được áp dụng trong các hệ thống trợ lý ảo, giáo dục và y tế để cung cấp trải nghiệm tương tác tự nhiên hơn.
Nguồn tin: Reuters