Dự án Vision‑LLM, được khởi xướng bởi nhóm nghiên cứu AI tại University of California, Berkeley, đã được công bố trên GitHub với mã nguồn mở hoàn toàn. Mô hình này tích hợp khả năng nhận thức hình ảnh và ngôn ngữ trong một kiến trúc Transformer duy nhất, cho phép thực hiện các tác vụ như trả lời câu hỏi dựa trên hình ảnh (VQA), mô tả ảnh chi tiết và thậm chí tạo hình ảnh dựa trên mô tả văn bản.
Trong các thử nghiệm benchmark VQA‑2026, Vision‑LLM đạt điểm chính xác 89,3%, vượt qua các mô hình thương mại hiện nay như GPT‑4V và Gemini Ultra 2. Ngoài ra, mô hình còn hỗ trợ “Zero‑Shot Image Captioning” với độ tương đồng ngữ nghĩa lên tới 0,84 trên bộ dữ liệu COCO.
Dự án cung cấp tài liệu hướng dẫn chi tiết, Docker images và một bộ công cụ fine‑tuning cho phép các nhà phát triển tùy chỉnh mô hình cho các domain chuyên biệt như y tế, nông nghiệp và an ninh. Tính đến ngày hôm nay, Vision‑LLM đã nhận được hơn 5.000 sao và 300 fork trên GitHub.
Nguồn tin: GitHub Blog