Stability AI vừa tung ra Stable Diffusion 4.0, đánh dấu một cuộc cách mạng trong lĩnh vực sinh tạo nội dung multimedia. Khác với các phiên bản trước chỉ tập trung vào hình ảnh, SD 4.0 tích hợp một bộ encoder-video đặc biệt cho phép chuyển đổi các chuỗi token văn bản thành các đoạn video dài 5-10 giây với độ phân giải 1080p.
Công nghệ cốt lõi nằm ở một kiến trúc diffusion transformer (DiT) được tối ưu hóa cho các dữ liệu không-thời gian. Thay vì sinh từng khung hình độc lập và sau đó ghép lại, SD 4.0 dự đoán đồng thời cả không gian và thời gian, đảm bảo tính nhất quán về chuyển động và ánh sáng giữa các khung hình. Điều này giải quyết được vấn đề 'rung lắc' và 'biến dạng' thường gặp trong các công cụ sinh video hiện tại.
Trên phần cứng, Stability AI cho biết SD 4.0 có thể chạy ở tốc độ thời gian thực (24fps) trên các card GPU có ít nhất 24GB VRAM. Đây là một thông tin đáng khích lệ cho các nhà sáng tạo nội dung độc lập, vì trước đây việc sinh video AI chất lượng cao thường yêu cầu các cụm server đắt tiền. Dự án mã nguồn mở của SD 4.0 đã được đẩy lên GitHub và nhận được phản hồi tích cực từ cộng đồng nghệ sĩ số và nhà làm phim độc lập.