Sự phụ thuộc vào điện toán đám mây luôn là rào cản lớn đối với việc phổ cập các mô hình AI thị giác (VLM) trong đời sống hàng ngày do lo ngại về quyền riêng tư và chi phí băng thông. Để giải quyết vấn đề này, dự án mã nguồn mở EdgeVLM đã chính thức được công bố trên GitHub, mang đến giải pháp nén và tăng tốc mô hình cực kỳ ấn tượng.
EdgeVLM sử dụng kỹ thuật lượng tử hóa động (dynamic quantization) kết hợp với chưng cất tri thức (knowledge distillation) để giảm dung lượng của các mô hình thị giác lớn từ hàng chục GB xuống chỉ còn chưa đầy 1.2 GB, trong khi vẫn giữ lại hơn 92% độ chính xác gốc. Dự án cung cấp các bộ thư viện tối ưu hóa riêng cho chip Apple Silicon (A-series/M-series) và các dòng chip Snapdragon của Qualcomm.
Thử nghiệm thực tế cho thấy, EdgeVLM có thể nhận diện vật thể, đọc văn bản từ camera và mô tả ngữ cảnh thời gian thực với tốc độ lên tới 30 khung hình/giây ngay trên một chiếc điện thoại di động tầm trung mà không cần kết nối internet hay gửi bất kỳ dữ liệu nào về máy chủ đám mây. Dự án hiện đang nhận được sự quan tâm đặc biệt từ các nhà phát triển ứng dụng hỗ trợ người khiếm thị và các kỹ sư robot tự hành.