Truyền thống, việc chạy AI thường đòi hỏi phần cứng mạnh và kết nối đám mây. Tuy nhiên, HuggingFace đã phá vỡ giới hạn này bằng việc công bố TinyML-Kits trong tuần này. Đây là một bộ thư viện mã nguồn mở dành riêng cho kỹ sư nhúng, thiết kế để tối ưu hóa các mạng nơ-ron (neural networks) để chúng vừa vặn trong bộ nhớ RAM 16-64KB của các thiết bị IoT.
Điểm nổi bật của bộ công cụ này là kỹ thuật lượng hóa (quantization) mới được gọi là 'Extreme-Quant'. Thay vì làm tròn các trọng số xuống 8-bit như trước, Extreme-Quant tận dụng đặc tính thưa (sparsity) của mô hình để xóa bỏ hoàn toàn các kết nối không quan trọng, giúp giảm kích thước mô hình mà gần như không ảnh hưởng đến độ chính xác.
Một ví dụ điển hình được đưa ra trong tài liệu README là việc triển khai một mô hình phát hiện vật thể với kích thước chỉ 4MB trên một tấm vi mạch ARM Cortex-M4, một loại chip thường được dùng trong điều khiển nhiệt độ hay bộ hẹn giờ. Điều này cho thấy tương lai nơi mỗi thiết bị trong nhà, từ camera an ninh đến thiết bị y tế, đều có thể tự ra quyết định thông minh mà không cần phụ thuộc vào mạng, một xu hướng đang được ngành công nghiệp Internet of Things (IoT) săn đón mạnh mẽ.