LLM-Router, một công cụ mã nguồn mở được phát triển bởi một nhóm kỹ sư tại Israel, đã trở thành hiện tượng trên GitHub nhờ giải quyết vấn đề chi phí API ngày càng tăng cao. Thay vì sử dụng một mô hình AI duy nhất cho tất cả các tác vụ, LLM-Router phân tích nội dung truy vấn và tự động chọn mô hình phù hợp nhất, kết hợp giữa hiệu suất và chi phí.
Công cụ sử dụng một mô hình phân loại nhỏ (chỉ 700 triệu tham số) để đánh giá độ phức tạp của truy vấn trong dưới 5ms. Các truy vấn đơn giản như đặt câu hỏi sự kiện cơ bản sẽ được định tuyến đến các mô hình nhỏ, giá rẻ, trong khi các truy vấn đòi hỏi suy luận phức tạp sẽ được chuyển đến các mô hình lớn như GPT-4 hoặc Claude Opus. Kết quả, các nhà phát triển có thể giảm 60-70% chi phí API trung bình mà không hy sinh chất lượng đáng kể.
Điểm nổi bật là tính năng 'Dynamic Pricing Adjustment', cho phép người dùng thiết lập ngân sách hàng tháng và LLM-Router sẽ tự động điều chỉnh chiến lược định tuyến để không vượt quá ngân sách. Công cụ hỗ trợ hơn 20 nhà cung cấp API AI và có thể tích hợp dễ dàng qua một proxy đơn giản. Nhiều công ty khởi nghiệp đang sử dụng LLM-Router để kiểm soát chi phí khi mở rộng quy mô ứng dụng AI. Dự án hiện có hơn 12.000 sao và đang được thảo luận trong các cuộc họp kỹ thuật của nhiều công ty công nghệ lớn.