Ollama, công cụ mã nguồn mở phổ biến để chạy các mô hình AI local, vừa phát hành phiên bản 0.9 với nhiều cải tiến quan trọng. Điểm nổi bật nhất là khả năng chạy các mô hình ngôn ngữ lớn lên tới 70B tham số trên máy tính cá nhân có 32GB RAM, nhờ vào kỹ thuật quantization tiên tiến và quản lý bộ nhớ thông minh.
Trước đây, việc chạy các mô hình 70B thường yêu cầu GPU chuyên dụng với VRAM tối thiểu 24GB hoặc thậm chí nhiều GPU kết hợp. Ollama v0.9 sử dụng kỹ thuật quantization 4-bit kết hợp với offloading động sang RAM, cho phép mô hình hoạt động mượt mà trên phần cứng phổ thông. Tốc độ suy luận đạt khoảng 15-20 token/giây trên CPU hiện đại, đủ nhanh cho các tác vụ như chat, tóm tắt tài liệu và lập trình.
Phiên bản mới cũng mang đến giao diện người dùng cải tiến. Ollama v0.9 tích hợp sẵn một web UI đơn giản, cho phép người dùng không cần biết về dòng lệnh vẫn có thể tương tác với các mô hình AI. Giao diện hỗ trợ nhiều hội thoại song song, quản lý lịch sử chat và cài đặt thông số mô hình một cách trực quan.
Ollama v0.9 đã đạt hơn 30.000 sao trên GitHub trong vòng một tuần. Dự án đặc biệt phổ biến trong cộng đồng lập trình viên và người dùng kỹ thuật số tại châu Á, nơi nhiều người muốn trải nghiệm AI mà không lo ngại về quyền riêng tư dữ liệu hay chi phí API. Nhiều blog công nghệ Việt Nam cũng đã đăng tải hướng dẫn cài đặt và sử dụng Ollama v0.9, góp phần phổ biến xu hướng chạy AI local.