GitHub nổi bật: 'Local-LLM-Optimizer' giúp chạy mô hình 70B tham số trên laptop phổ thông

Một dự án mã nguồn mở khác đang thu hút sự chú ý lớn từ cộng đồng AI là 'Local-LLM-Optimizer'. Mục đích của dự án này là phá vỡ rào cản về phần cứng khi chạy các mô hình ngôn ngữ lớn (LLM). Kỹ thuật chủ đạo của dự án là 'Dynamic Weight Splitting', cho phép phân bổ thông minh các trọng số của mô hình giữa RAM, VRAM và ổ cứng SSD tốc độ cao. Thông thường, để chạy một mô hình 70 tỷ tham số (70B), người dùng cần hệ thống máy chủ với nhiều card đồ họa đắt tiền. Tuy nhiên, với Local-LLM-Optimizer, một chiếc laptop có 16GB RAM đã có thể chạy mượt mà các mô hình này với tốc độ xử lý đạt mức 15-20 token mỗi giây. Dự án cũng tích hợp sẵn các cấu hình tối ưu cho các dòng chip Apple Silicon và Intel Core Ultra mới nhất. Lý do khiến dự án này trở nên nổi bật là vì nó thúc đẩy quyền riêng tư và quyền tự chủ của người dùng. Thay vì phải gửi dữ liệu lên các máy chủ của các tập đoàn lớn, giờ đây bất kỳ ai cũng có thể sở hữu một trí tuệ nhân tạo mạnh mẽ ngay trên máy tính cá nhân của mình. Dự án hiện đang được đóng góp tích cực bởi hàng trăm kỹ sư tối ưu hóa hiệu suất trên toàn thế giới.