Với sự bùng nổ của các mô hình tạo ảnh AI, một vấn đề mới nổi lên là sự trùng lặp lớn trong các bộ dữ liệu huấn luyện và kết quả đầu ra. Diffusion-Image-Dedup, một công cụ mã nguồn mở do cộng đồng Hugging Face phát triển, đã trở thành xu hướng trên GitHub nhờ giải quyết vấn đề này một cách hiệu quả.
Công cụ sử dụng kỹ thuật embedding không gian vector kết hợp với thuật toán clustering mật độ cao để xác định các hình ảnh có độ tương đồng trên 95%. Thay vì so sánh pixel trực tiếp, hệ thống trích xuất đặc trưng ngữ nghĩa từ các mô hình nhúng CLIP, cho phép phát hiện các biến thể nhỏ như thay đổi góc nhìn, ánh sáng hoặc màu sắc nhẹ. Quy trình xử lý hàng triệu hình ảnh chỉ mất chưa đến 2 giờ trên một GPU NVIDIA A100.
Điểm nổi bật là tính năng 'Semantic Diversity Score', đánh giá mức độ đa dạng ngữ nghĩa của một bộ tập ảnh và đề xuất các hình ảnh cần loại bỏ để tối ưu hóa sự cân bằng. Nhiều studio thiết kế và công ty game đang sử dụng công cụ này để làm sạch bộ dữ liệu trước khi huấn luyện các mô hình tùy chỉnh. Dự án đã đạt 6.500 sao và đang nhận đóng góp từ các nhà nghiên cứu về computer vision trên toàn cầu.