Việc chạy các mô hình AI lớn (LLM) trên thiết bị di động từng là một giấc mơ xa vời do giới hạn về bộ nhớ và sức mạnh xử lý. Tuy nhiên, dự án 'EdgeLLM-Kit' vừa xuất hiện trên GitHub đang phá vỡ rào cản này. Bộ công cụ này cung cấp một pipeline đầy đủ để lượng tử hóa (quantization), cắt tỉa (pruning) và nén các mô hình open-source, cho phép chúng chạy mượt mà trên các dòng smartphone cao cấp hiện nay.
Điểm sáng của EdgeLLM-Kit là kỹ thuật 'dynamic sparsity' (độ thưa động), nơi mô hình chỉ kích hoạt một phần nhỏ các kết nối thần kinh cho mỗi phép toán cụ thể, tùy thuộc vào ngữ cảnh đầu vào. Kỹ thuật này giúp giảm đáng kể lượng RAM sử dụng mà không làm giảm đáng kể chất lượng đầu ra. Theo benchmark, một mô hình 7 tỷ tham số sau khi được tối ưu hóa bằng EdgeLLM-Kit có thể chạy với tốc độ suy luận 20 token/giây trên chip NPU của điện thoại.
Dự án này rất được cộng đồng lập trình viên di động quan tâm vì nó mở ra khả năng tạo ra các trợ lý cá nhân hoàn toàn riêng tư, không cần gửi dữ liệu lên cloud. Điều này đặc biệt quan trọng cho các ứng dụng nhạy cảm như ghi chú cá nhân, dịch thuật offline hoặc hỗ trợ y tế tại nơi thiếu hạ tầng mạng.
EdgeLLM-Kit cũng bao gồm một giao diện dòng lệnh (CLI) và thư viện Python để tự động hóa quá trình tối ưu hóa. Với hơn 5.000 sao trong vòng một tuần, dự án này đang trở thành tiêu chuẩn tham chiếu cho các nhà phát triển muốn xây dựng các ứng dụng AI on-device. Các hãng điện tử lớn cũng đã bắt đầu quan tâm đến việc tích hợp công nghệ này vào hệ điều hành của họ.