Ollama, công cụ mã nguồn mở phổ biến nhất để chạy các mô hình LLM cục bộ (local LLMs), vừa phát hành phiên bản 2.0 với những cải tiến hiệu năng đáng kể. Điểm nổi bật nhất là công nghệ lượng tử hóa động (dynamic quantization) mới, cho phép các mô hình có kích thước lên đến 70 tỷ tham số chạy mượt mà trên các laptop có 16GB RAM và GPU tích hợp.
Trước đây, việc chạy các mô hình lớn thường yêu cầu GPU rời cao cấp hoặc máy chủ chuyên dụng. Với Ollama v2.0, các nhà phát triển và người dùng cá nhân có thể dễ dàng chạy các mô hình mạnh như Llama 4 70B hoặc Mistral Large trên máy tính cá nhân, với tốc độ phản hồi đạt 15 token/giây, nhanh hơn 3 lần so với phiên bản 1.x.
Phiên bản mới còn hỗ trợ chạy đồng thời nhiều mô hình khác nhau trên cùng một máy, cho phép người dùng chuyển đổi giữa các mô hình chuyên biệt (ví dụ: một mô hình cho code, một mô hình cho văn bản sáng tạo) mà không cần khởi động lại ứng dụng.
Trên GitHub, Ollama đã vượt mốc 150.000 sao, trở thành một trong những dự án AI mã nguồn mở được yêu thích nhất. Cộng đồng developer đang tích cực đóng góp các plugin để mở rộng khả năng của Ollama, bao gồm tích hợp với các IDE, trình soạn thảo văn bản và các ứng dụng chatbot cục bộ.