Cộng đồng mã nguồn mở trên GitHub hôm nay đang đổ dồn sự chú ý vào dự án OmniParser-v2 do nhóm nghiên cứu AI của Microsoft phát hành dưới giấy phép MIT tự do. Dự án này giải quyết một trong những thách thức lớn nhất của các tác tử AI hiện nay: hiểu và tương tác với các giao diện đồ họa người dùng (GUI) trên máy tính và điện thoại di động mà không cần truy cập vào mã nguồn gốc của ứng dụng.
OmniParser-v2 hoạt động bằng cách chụp ảnh màn hình và sử dụng một mô hình thị giác máy tính chuyên biệt để nhận diện tất cả các yếu tố tương tác như nút bấm, ô nhập liệu, biểu tượng và văn bản. Sau đó, nó chuyển đổi các thông tin trực quan này thành một cấu trúc dữ liệu dạng cây (structured tree) mà các mô hình ngôn ngữ lớn (LLM) như GPT-4o hay Claude 3.5 Sonnet có thể dễ dàng đọc hiểu và đưa ra tọa độ nhấp chuột chính xác.
So với phiên bản đầu tiên, OmniParser-v2 đã cải tiến tốc độ xử lý lên gấp 4 lần, giảm độ trễ xuống dưới 100ms và tăng độ chính xác định vị lên 98,5%. Điểm khiến dự án này cực kỳ hot trên GitHub là khả năng chạy mượt mà trên các phần cứng tiêu dùng, cho phép các nhà phát triển xây dựng các bot tự động hóa quy trình (RPA) thông minh ngay trên máy tính cá nhân mà không cần phụ thuộc vào các dịch vụ đám mây đắt đỏ.
Chỉ sau chưa đầy 12 giờ ra mắt, kho lưu trữ của OmniParser-v2 đã thu về hơn 8.000 ngôi sao (stars) và hàng trăm lượt đóng góp mã nguồn từ các kỹ sư trên toàn cầu. Dự án được kỳ vọng sẽ mở đường cho một thế hệ phần mềm tự động hóa mới, nơi người dùng chỉ cần ra lệnh bằng giọng nói để AI tự thực hiện các thao tác phức tạp trên Excel, Photoshop hay các phần mềm quản trị doanh nghiệp.