Dự án 'Realtime-VoiceCloner' vừa ra mắt trên GitHub và nhanh chóng trở thành tâm điểm chú ý nhờ khả năng sao chép giọng nói với độ tương đồng cực cao chỉ từ một đoạn audio mẫu ngắn khoảng 10 giây. Công cụ này sử dụng kiến trúc neural vocoder kết hợp với mô hình transformer để nắm bắt các đặc điểm âm sắc, nhịp điệu và cảm xúc của giọng nói gốc.
Điểm nổi bật của dự án là khả năng chạy thời gian thực trên phần cứng tiêu dùng, bao gồm cả các laptop phổ thông với GPU rời. Người dùng có thể nhập một câu lệnh văn bản và nghe ngay lập tức giọng nói được tổng hợp, với độ trễ dưới 100ms. Tính năng này mở ra nhiều ứng dụng trong sản xuất nội dung podcast, game và phim ngắn cho các cá nhân và studio nhỏ.
Đội ngũ phát triển đã tích hợp sẵn các biện pháp bảo mật như watermark âm thanh để đánh dấu nguồn gốc giọng nói tổng hợp, nhằm ngăn chặn việc lạm dụng vào mục đích gian lận hoặc lừa đảo. Dự án hiện đã nhận được hơn 20.000 sao và đang có tốc độ đóng góp mã nguồn rất nhanh từ cộng đồng quốc tế.