'LLM-Compressor' là một dự án mã nguồn mở mới nổi trên GitHub, cung cấp bộ công cụ hoàn chỉnh để nén các mô hình ngôn ngữ lớn (LLM) mà vẫn giữ được phần lớn chất lượng đầu ra. Dự án này đặc biệt hữu ích cho các tổ chức muốn triển khai LLM trên thiết bị di động hoặc các hệ thống có tài nguyên hạn chế.
LLM-Compressor hỗ trợ nhiều kỹ thuật nén khác nhau, bao gồm quantization (4-bit, 8-bit), pruning, và knowledge distillation. Điểm nổi bật là cơ chế 'adaptive compression', nơi hệ thống tự động chọn mức độ nén phù hợp cho từng lớp của mạng neural, dựa trên mức độ quan trọng của từng tham số. Điều này giúp đạt được tỷ lệ nén cao hơn mà ít gây suy giảm chất lượng hơn so với các phương pháp nén đồng nhất.
Thử nghiệm trên Llama 3.1 8B cho thấy LLM-Compressor có thể giảm kích thước mô hình từ 16 GB xuống còn 3,2 GB (tỷ lệ nén 80%), trong khi chỉ mất 2,5% hiệu suất trên các benchmark chuẩn. Mô hình sau khi nén có thể chạy mượt mà trên iPhone 15 Pro với MTP (Metal Performance Shaders).
Dự án hiện có 22.000 stars và được sử dụng bởi nhiều công ty công nghệ lớn cho việc triển khai LLM on-device. Tài liệu hướng dẫn chi tiết và các script mẫu được cung cấp đầy đủ, giúp người dùng có thể bắt đầu nén mô hình của mình trong vòng 30 phút.