NVIDIA hôm nay công bố nền tảng AI Edge mới mang tên Jetson AI‑Hub, một bộ công cụ phần mềm và phần cứng cho phép triển khai các mô hình ngôn ngữ lớn (LLM) trực tiếp trên các thiết bị IoT và robot.
Jetson AI‑Hub tích hợp các mô hình tối ưu hóa như LLaMA‑2‑7B‑Quant và GPT‑NeoX‑1.3B‑FP8, được nén và quantize để chạy trên chip Jetson Orin NX với tiêu thụ điện năng dưới 15 W. Nền tảng cung cấp API unified cho việc inference, fine‑tuning và streaming dữ liệu, đồng thời hỗ trợ bảo mật dữ liệu nội bộ bằng cách không gửi dữ liệu lên đám mây.
Theo NVIDIA, việc đưa LLM lên thiết bị edge sẽ giảm độ trễ xuống dưới 100 ms cho các tác vụ như nhận dạng giọng nói, trả lời câu hỏi và điều khiển robot. Đặc biệt, Jetson AI‑Hub còn hỗ trợ công cụ Auto‑Distill, tự động giảm kích thước mô hình mà không làm giảm đáng kể độ chính xác.
Nền tảng sẽ được phát hành vào cuối năm 2026, kèm theo bộ SDK và tài liệu hướng dẫn chi tiết. NVIDIA đã ký hợp đồng với một số nhà sản xuất robot và thiết bị y tế để tích hợp Jetson AI‑Hub vào sản phẩm của họ trong năm tới.