OpenAI hôm nay công bố phiên bản mới nhất của ChatGPT mang tên Vision Pro, một mô hình AI đa phương tiện có khả năng xử lý đồng thời video, âm thanh và văn bản. Với kiến trúc mới gọi là Multi‑Modal Fusion Transformer (MMFT), ChatGPT Vision Pro có thể hiểu ngữ cảnh từ video trực tiếp và phản hồi bằng lời nói hoặc văn bản.
Đặc điểm nổi bật của Vision Pro là khả năng “real‑time captioning” cho video hội nghị, tự động tạo phụ đề trong nhiều ngôn ngữ, đồng thời cung cấp tóm tắt nội dung và trả lời câu hỏi dựa trên thông tin trong video. Ngoài ra, mô hình còn hỗ trợ tạo nội dung âm thanh, như podcast hoặc lồng tiếng, với giọng nói tự nhiên được tinh chỉnh dựa trên dữ liệu người dùng.
OpenAI cho biết mô hình đã được huấn luyện trên hơn 5 triệu giờ video và 10 triệu giờ âm thanh, bao gồm các nguồn đa dạng từ giáo dục, giải trí và hội nghị doanh nghiệp. Kết quả thử nghiệm nội bộ cho thấy độ chính xác nhận dạng ngữ cảnh tăng 12% so với phiên bản GPT‑4o.
ChatGPT Vision Pro sẽ được triển khai trên nền tảng ChatGPT Plus và Enterprise, với mức giá bổ sung cho tính năng đa phương tiện. OpenAI cũng công bố một bộ API mới cho các nhà phát triển muốn tích hợp khả năng này vào ứng dụng của họ.