RAG giải quyết việc gì?

Mô hình ngôn ngữ chỉ biết những gì có trong dữ liệu huấn luyện và ngữ cảnh được đưa vào. RAG bổ sung bước truy xuất: tìm đoạn tài liệu liên quan từ nguồn nội bộ, đưa vào ngữ cảnh và yêu cầu mô hình trả lời dựa trên đó. Giá trị không nằm ở việc “có AI” mà ở việc câu trả lời bám vào nguồn và kiểm tra được.

1. Dữ liệu đầu vào

2. Chia nhỏ và chỉ mục

Chunking không chỉ là cắt theo số ký tự. Cần giữ cấu trúc: tiêu đề, bảng, danh sách, điều khoản và quan hệ giữa các phần. Mỗi đoạn nên có metadata đủ để lọc theo nguồn, ngày, phòng ban và quyền truy cập. Chất lượng chỉ mục quyết định chất lượng truy xuất nhiều hơn việc đổi mô hình.

3. Truy xuất và trả lời

Kết hợp tìm kiếm từ khóa và vector thường ổn định hơn chỉ dùng một cách. Cần xử lý trường hợp không tìm thấy nguồn, nguồn mâu thuẫn hoặc câu hỏi ngoài phạm vi. Câu trả lời nên trích dẫn đoạn nguồn và nói rõ khi không đủ căn cứ. Không nên che giấu giới hạn bằng một câu trả lời trôi chảy.

4. Đánh giá

5. Quyền truy cập và bảo mật

Một hệ thống RAG doanh nghiệp phải trả lời theo quyền của người hỏi, không chỉ theo nội dung. Nếu nhân viên A không được xem tài liệu của phòng B, hệ thống không được đưa tài liệu đó vào ngữ cảnh. Điều này cần lọc quyền trước khi truy xuất và kiểm tra lại trước khi trả lời.

6. Vận hành

Cần có quy trình cập nhật chỉ mục khi tài liệu thay đổi, cách xử lý nguồn bị xóa, nhật ký câu hỏi và cơ chế báo lỗi. Một bản demo chạy tốt trên 20 tài liệu không chứng minh hệ thống vận hành được với 20.000 tài liệu thay đổi mỗi tuần.

Nếu bạn đang cân nhắc RAG cho dữ liệu nội bộ, hãy trao đổi với HKOTEN hoặc xem các lĩnh vực chuyên môn.