Trong bối cảnh xu hướng chạy AI cục bộ (on-device AI) ngày càng phổ biến, LocalLLM-Optimizer đã trở thành dự án được sao chép (fork) nhiều nhất trên GitHub hôm nay. Dự án này cung cấp một bộ công cụ một-cổng-tất-cả (one-stop-shop) để chuyển đổi các mô hình LLM lớn như Llama, Mistral hay Phi-3 thành các phiên bản siêu nhỏ gọn, tối ưu hóa cho phần cứng di động.
Công nghệ cốt lõi của LocalLLM-Optimizer là kỹ thuật 'Dynamic Sparsity Pruning' kết hợp với lượng tử hóa 4-bit. Thay vì cắt bỏ các trọng số một cách tĩnh, công cụ này phân tích dữ liệu huấn luyện để xác định các phần mạng nơ-ron ít quan trọng nhất và loại bỏ chúng một cách động, giúp giảm kích thước file mô hình xuống còn 1/10 so với bản gốc mà chỉ mất đi khoảng 2-3% độ chính xác. Kết quả là các mô hình có kích thước từ 7B đến 13B tham số có thể chạy được trên các điện thoại flagship hiện đại với tốc độ sinh văn bản lên đến 20 token/giây.
Điểm nổi bật khác là giao diện kéo-thả (drag-and-drop) đơn giản, cho phép người dùng không có kiến thức sâu về machine learning cũng có thể tạo ra các ứng dụng AI cục bộ. Dự án còn bao gồm một kho mẫu (template library) cho các ứng dụng phổ biến như trợ lý chat, email tự động hóa và công cụ dịch thuật offline. Các hãng phần mềm di động lớn đã bắt đầu liên hệ với nhóm phát triển để tích hợp công nghệ này vào hệ điều hành của họ trong năm tới.