Meta AI hôm nay công bố phiên bản mới nhất của dòng mô hình ngôn ngữ LLaMA, mang tên LLaMA 3.0. Với 850 tỷ tham số, đây là mô hình mở lớn nhất từng được phát hành, đồng thời được tối ưu để có thể fine‑tune trên các máy chủ vừa và nhỏ chỉ trong vòng vài giờ.
LLaMA 3.0 được xây dựng dựa trên kiến trúc Transformer cải tiến, tích hợp các kỹ thuật “Sparse Attention” và “Dynamic Routing” giúp giảm tiêu thụ bộ nhớ tới 40% so với các mô hình cùng kích thước. Điều này cho phép các nhà nghiên cứu và doanh nghiệp ở các quốc gia đang phát triển tiếp cận công nghệ AI tiên tiến mà không cần đầu tư hạ tầng đắt đỏ.
Meta đã công bố bộ dữ liệu huấn luyện LLaMA 3.0 là “OpenWebText‑2026”, một tập hợp các văn bản công khai, được lọc kỹ lưỡng để loại bỏ nội dung vi phạm bản quyền và thông tin nhạy cảm. Ngoài ra, Meta cũng cung cấp công cụ “LLaMA‑Hub” để người dùng dễ dàng chia sẻ và tải xuống các bản fine‑tuned.
Nguồn tin: The Verge