Trước sự gia tăng của các cuộc tấn công 'prompt injection' nhắm vào các ứng dụng LLM (mô hình ngôn ngữ lớn), dự án mã nguồn mở 'PromptGuard' trên GitHub đang trở thành giải pháp bảo mật được nhiều tổ chức doanh nghiệp quan tâm. Công cụ này được thiết kế để phát hiện, phân tích và chặn các chuỗi prompt độc hại trước khi chúng được đưa vào hệ thống LLM.
PromptGuard sử dụng kết hợp giữa các kỹ thuật học sâu và quy tắc ngữ nghĩa để nhận diện các mẫu tấn công, bao gồm cả các kỹ thuật obfuscation (giấu di) mới. Điểm nổi bật của dự án là khả năng chạy như một lớp giữa (middleware) trong pipeline xử lý của bất kỳ ứng dụng LLM nào, chỉ cần vài dòng code tích hợp. Nó không làm giảm đáng kể hiệu suất của ứng dụng gốc mà vẫn cung cấp một lớp bảo vệ mạnh mẽ.
Cộng đồng bảo mật đánh giá cao PromptGuard vì sự minh bạch của mã nguồn, cho phép các chuyên gia an toàn thông tin (security researchers) dễ dàng kiểm tra và tùy chỉnh quy tắc phát hiện. Dự án hiện đã được tích hợp vào các hệ thống quản trị IT của hơn 100 công ty công nghệ tại Mỹ và châu Âu.