Mở đầu xu hướng AI tại chỗ (local AI) trong năm nay, dự án mã nguồn LocalLLaMA trên GitHub đã vượt qua cột mốc 25.000 sao, đưa nó trở thành một trong những dự án có tác động lớn nhất trong cộng đồng AI. Mục đích chính của dự án là tối ưu hóa các thuật toán lượng tử hóa (quantization) để các mô hình khổng lồ như Llama, Mistral hay Mixtral có thể chạy mượt mà trên các laptop có 16GB RAM và bộ xử lý CPU đời mới, không cần đến GPU chuyên dụng.
Điểm nổi bật nhất của LocalLLaMA là hệ thống giao diện đồ họa (GUI) trực quan. Người dùng chỉ cần kéo thả file tải trọng mô hình (model weight) vào, phần mềm sẽ tự động xác định cấu trúc phần cứng tối ưu nhất và áp dụng các thuật toán nén dữ liệu (4-bit hoặc 8-bit) để giảm dung bộ nhớ. Điều này khiến cho AI không còn là đặc quyền của các tập đoàn công nghệ, mà là công cụ có sẵn cho bất kỳ ai.
Cộng đồng đang tập trung phát triển một kho ứng dụng (app store) trong dự án này, nơi người dùng có thể tải xuống các gói plugin AI cụ thể, ví dụ như AI y khoa, AI tài chính hay AI sáng tác nhạc, tất cả đều được thực hiện hoàn toàn trên máy của bạn để bảo đảm quyền riêng tư tuyệt đối. Nhiều ý kiến trên diễn đàn GitHub cho rằng dự án này đang thay đổi suy nghĩ cơ bản về cách mọi người tiêu dùng nhìn nhận về AI.
Sự thành công của LocalLLaMA cũng tạo ra một tác động ngược đối với các nhà sản xuất phần cứng, thúc đẩy họ ra mắt các chip dành cho máy tính xách tay với khả năng xử lý vector (NPU) mạnh mẽ hơn, tạo nên một vòng lặp đổi mới trong cả phần mềm và phần cứng.