Quants vừa xuất hiện trên GitHub và nhanh chóng thu hút sự chú ý của cộng đồng AI nhờ vào mục đích rõ ràng: cung cấp bộ công cụ mã nguồn mở để fine-tune các mô hình ngôn ngữ lớn (LLM) với chi phí thấp. Dự án được phát triển bởi một nhóm các nhà nghiên cứu từ Đại học Stanford và MIT, với mục tiêu dân chủ hóa việc tùy chỉnh AI, vốn trước đây chỉ khả dụng cho các công ty lớn có ngân sách hàng triệu đô la.
Quants sử dụng kỹ thuật LoRA (Low-Rank Adaptation) kết hợp với quantization 4-bit, cho phép fine-tune các mô hình lên tới 70B tham số trên một GPU đơn lẻ với VRAM 24GB. Trước đây, việc fine-tune một mô hình 70B thường yêu cầu nhiều GPU kết hợp hoặc thuê dịch vụ cloud với chi phí hàng nghìn đô la mỗi ngày. Quants giảm chi phí này xuống còn vài chục đô la, mở ra khả năng cho các startup, nhà nghiên cứu và cá nhân.
Bộ công cụ bao gồm các script tự động hóa quy trình fine-tune, từ chuẩn bị dữ liệu, huấn luyện mô hình đến đánh giá kết quả. Người dùng chỉ cần cung cấp dataset của họ và chọn một số thông số cơ bản, Quants sẽ tự động thực hiện toàn bộ quy trình. Giao diện web đơn giản cũng được tích hợp sẵn, cho phép người dùng không chuyên theo dõi quá trình huấn luyện và xem kết quả.
Dự án đã đạt hơn 15.000 sao trên GitHub trong vòng hai tuần. Nhiều blog công nghệ và kênh YouTube đã đăng tải hướng dẫn sử dụng Quants, góp phần phổ biến dự án. Một số công ty AI nhỏ đã bắt đầu sử dụng Quants để tùy chỉnh các mô hình cho lĩnh vực cụ thể của họ, như hỗ trợ khách hàng, phân tích tài chính hoặc y tế. Cộng đồng đóng góp mã nguồn cũng rất sôi nổi, với hơn 200 pull request trong tuần đầu tiên.