Xu hướng đưa AI ra biên (Edge AI) đang nhận được cú hích lớn từ dự án mã nguồn mở EdgeLLM-Lite vừa được công bố trên GitHub. Mục đích chính của dự án là nén các mô hình ngôn ngữ lớn thông qua kỹ thuật lượng tử hóa cực sâu (extreme quantization) mà vẫn giữ lại phần lớn năng lực hiểu ngôn ngữ.
Điểm nổi bật của EdgeLLM-Lite là khả năng vận hành trơn tru trên các thiết bị phần cứng có RAM chỉ từ 1GB đến 2GB, tiêu thụ năng lượng cực thấp. Điều này mở ra khả năng tích hợp trợ lý giọng nói thông minh vào các thiết bị gia dụng, cảm biến công nghiệp hay thiết bị đeo tay mà không lo ngại vấn đề bảo mật dữ liệu cá nhân khi phải truyền lên đám mây.
Cộng đồng lập trình nhúng đang đánh giá rất cao dự án này vì tính thực tiễn và khả năng mở rộng tuyệt vời trong kỷ nguyên vạn vật kết nối thông minh.