Trong số các dự án mã nguồn mở nổi bật trong tuần qua, LLM-Pruner đã gây bão trên GitHub khi vượt mốc 10.000 sao chỉ sau 48 giờ ra mắt. Dự án này cung cấp một bộ công cụ toàn diện để 'cắt tỉa' (pruning) các mô hình ngôn ngữ lớn, giúp giảm thiểu số lượng tham số không cần thiết mà vẫn giữ được chất lượng sinh văn bản.
Điểm đặc biệt của LLM-Pruner là thuật toán tự động xác định các liên kết trọng số yếu trong mạng nơ-ron dựa trên sự đóng góp entropy của từng tham số. Người dùng chỉ cần chạy một lệnh đơn giản với tên mô hình đích (ví dụ: Llama-3-70B) và tỷ lệ cắt mong muốn, công cụ sẽ tự động tạo ra một mô hình tối ưu hóa có thể chạy trên phần cứng tiêu dùng.
Theo đánh giá của cộng đồng, sau khi áp dụng LLM-Pruner, mô hình Llama-3-70B có thể được giảm kích thước xuống còn khoảng 45GB, cho phép chạy mượt mà trên các máy trạm với 64GB RAM hoặc các card GPU cao cấp như RTX 4090. Dự án này được phát triển bởi một nhóm các nhà nghiên cứu từ Đại học Bách khoa Delft và hiện đang được các công ty khởi nghiệp về AI biên (edge AI) quan tâm mạnh mẽ để tích hợp vào pipeline phát triển sản phẩm.