Microsoft AI và nhóm DeepSpeed công bố phiên bản DeepSpeed‑4.0 trên GitHub, mang lại các cải tiến quan trọng cho việc huấn luyện mô hình siêu lớn. Phiên bản mới hỗ trợ ZeRO‑4, cho phép phân tán trọng số, gradient và optimizer state hoàn toàn trên nhiều GPU, đồng thời giới thiệu tính năng CPU offloading để giảm tải bộ nhớ GPU.
Nhờ ZeRO‑4, DeepSpeed‑4.0 có thể huấn luyện mô hình lên tới 1 trillion tham số trên cụm 64 GPU với mức tiêu thụ bộ nhớ giảm 45 % so với phiên bản trước. Tính năng CPU offloading cho phép các phần không thường xuyên truy cập được chuyển sang RAM, giúp mở rộng quy mô huấn luyện trên các máy chủ không có GPU cao cấp.
Ngoài ra, DeepSpeed‑4.0 còn tích hợp các công cụ profiling mới, cung cấp biểu đồ chi tiết về việc sử dụng tài nguyên và thời gian thực hiện các bước huấn luyện. Điều này giúp các nhà nghiên cứu tối ưu hoá pipeline và giảm chi phí điện năng.
Dự án đã nhanh chóng thu hút sự chú ý của cộng đồng AI, với hơn 2 500 sao và 800 fork trong tuần đầu tiên. Nhiều nhóm nghiên cứu tại MIT, Carnegie Mellon và các công ty AI startup đã bắt đầu thử nghiệm DeepSpeed‑4.0 cho các mô hình ngôn ngữ và vision lớn.