Microsoft vừa bổ sung tính năng 'Auto-Evaluate' vào nền tảng Copilot Studio, dành cho những ai đang xây dựng chatbot và agent AI nội bộ. Công cụ này sử dụng một mô hình giám sát (supervisor model) để tự động sinh ra hàng nghìn tình huống hội thoại edge-case (biên), sau đó chấm điểm độ chính xác, sự hữu ích và mức độ tuân thủ chính sách bảo mật của bot chủ.
Trước đây, việc kiểm thử bot AI thường đòi hỏi sự can thiệp thủ công tốn kém của QA engineer hoặc data scientist. Auto-Evaluate tự động hóa quy trình này, cung cấp dashboard trực quan hiển thị các lỗ hổng logic hoặc những câu hỏi mà bot chưa biết cách xử lý, kèm theo gợi ý sửa đổi prompt hoặc knowledge base.
Tính năng này đặc biệt hữu ích cho các ngân hàng và tổ chức tài chính, nơi sai sót nhỏ trong câu trả lời của bot có thể dẫn đến hậu quả pháp lý nghiêm trọng. Bằng cách mô phỏng hành vi người dùng thực tế với độ nhiễu cao, doanh nghiệp có thể yên tâm hơn khi đưa AI vào các kênh giao tiếp công khai.
Đây được coi là mảnh ghép còn thiếu để biến Copilot Studio từ một công cụ prototyping thành nền tảng enterprise-grade thực thụ, cạnh tranh trực tiếp với Salesforce Einstein và IBM watsonx Assistant.