AutoPrompt-Gen, một công cụ mã nguồn mở được phát triển bởi một startup AI tại Berlin, đã trở thành tâm điểm chú ý trên GitHub nhờ giải quyết nỗi đau lớn của các nhà phát triển AI: việc tối ưu hóa prompt. Thay vì phải thử hàng chục biến thể prompt khác nhau và đánh giá kết quả thủ công, AutoPrompt-Gen tự động hóa toàn bộ quy trình này.
Công cụ sử dụng thuật toán di truyền kết hợp với đánh giá tự động dựa trên các metric như độ chính xác, sự nhất quán và độ dài phản hồi. Người dùng chỉ cần cung cấp một tập dữ liệu kiểm thử nhỏ (khoảng 50-100 mẫu), và sau 10-15 phút, hệ thống sẽ đề xuất 5 prompt tối ưu nhất kèm theo giải thích về lý do tại sao chúng hiệu quả. Dự án hỗ trợ hầu hết các LLM phổ biến bao gồm GPT-4, Claude, Llama và Mistral.
Điểm đáng chú ý là tính năng 'Prompt Decomposition', cho phép phân tích một prompt phức tạp thành các thành phần nhỏ hơn và xác định thành phần nào đóng góp nhiều nhất vào chất lượng đầu ra. Tính năng này đặc biệt hữu ích cho các ứng dụng doanh nghiệp nơi cần kiểm soát và giải thích được hành vi của AI. Dự án hiện có hơn 8.000 sao và đang được một số công ty lớn sử dụng trong quy trình phát triển nội bộ.