Xu hướng tương tác bằng giọng nói tự nhiên đang trở nên nóng hơn bao giờ hết, và cộng đồng mã nguồn mở không hề đứng ngoài cuộc đua này. Hôm nay, dự án "OmniVoice-Open" đã chính thức vươn lên vị trí dẫn đầu danh sách Trending trên GitHub sau khi đạt hơn 8.500 stars chỉ trong vòng chưa đầy 24 giờ. Dự án này cung cấp một giải pháp thay thế hoàn hảo và hoàn toàn miễn phí cho các API giọng nói độc quyền đắt đỏ hiện nay.
OmniVoice-Open kết hợp ba thành phần cốt lõi được tối ưu hóa sâu sắc: một mô hình chuyển đổi giọng nói thành văn bản (STT) siêu nhanh dựa trên Whisper tinh chỉnh, một mô hình ngôn ngữ nhỏ (SLM) 3B tham số chuyên dụng cho hội thoại, và một bộ tổng hợp giọng nói (TTS) có khả năng biểu cảm cảm xúc thời gian thực. Điểm đột phá của dự án là kiến trúc xử lý dòng (streaming architecture) cho phép xử lý âm thanh đầu vào và tạo ra âm thanh đầu ra song song, giúp giảm độ trễ phản hồi xuống mức kỷ lục chỉ từ 80ms đến 120ms.
Không chỉ dừng lại ở việc đàm thoại đơn thuần, OmniVoice-Open còn hỗ trợ tính năng ngắt lời tự nhiên (interruption handling). Nghĩa là khi AI đang nói, nếu người dùng lên tiếng cắt ngang, hệ thống sẽ ngay lập tức dừng phát âm thanh và chuyển sang trạng thái lắng nghe mà không bị xung đột dữ liệu. Đây là tính năng mà trước đây chỉ có các mô hình thương mại đóng của các ông lớn công nghệ mới có thể thực hiện mượt mà.
Các nhà phát triển có thể dễ dàng triển khai OmniVoice-Open trên các phần cứng tiêu dùng, bao gồm cả các dòng card đồ họa phổ thông như NVIDIA RTX 4070 nhờ vào kỹ thuật lượng tử hóa (quantization) 4-bit được tích hợp sẵn. Dự án hứa hẹn sẽ mở ra làn sóng phát triển các trợ lý ảo thế hệ mới chạy hoàn toàn cục bộ (local) nhằm bảo vệ quyền riêng tư tối đa cho người dùng.