Trong bối cảnh có hàng trăm mô hình AI mới ra mắt mỗi tháng, việc đánh giá và so sánh chúng một cách khách quan trở nên cực kỳ khó khăn. AutoEval ra đời như một giải pháp mã nguồn mở, cung cấp một khung làm việc toàn diện để đánh giá hiệu suất của các mô hình ngôn ngữ lớn (LLM) dựa trên hàng chục tiêu chí khác nhau, từ khả năng lập luận, viết sáng tạo đến xử lý dữ liệu cấu trúc.
Khác với các bảng xếp hạng đơn giản chỉ dựa trên một vài bài kiểm tra chuẩn, AutoEval cho phép người dùng tùy chỉnh bộ tiêu chí đánh giá theo nhu cầu cụ thể của ngành nghề. Ví dụ, một công ty luật có thể thiết lập bộ tiêu chí tập trung vào chính xác pháp lý và sự rõ ràng trong ngôn ngữ, trong khi một công ty game có thể tập trung vào khả năng tạo cốt truyện và đối thoại nhân vật.
AutoEval sử dụng một thuật toán mới gọi là 'Multi-Dimensional Scoring' (MDS) để kết hợp các điểm số từ nhiều nguồn đánh giá khác nhau, bao gồm cả đánh giá bởi AI (AI-as-a-Judge) và đánh giá bởi con người. Hệ thống này đảm bảo rằng kết quả đánh giá không bị thiên lệch bởi một phương pháp nào đó.
Dự án này đặc biệt hữu ích cho các nhà phát triển muốn chọn lựa mô hình AI phù hợp nhất cho ứng dụng của họ. AutoEval cung cấp một dashboard trực quan để so sánh trực tiếp các mô hình khác nhau và xuất báo cáo chi tiết. Với sự hỗ trợ của cộng đồng, AutoEval đang mở rộng thư viện bộ kiểm thử, bao gồm cả các bộ kiểm thử chuyên biệt cho tiếng Việt và các ngôn ngữ khác.