Phân loại văn bản bằng AI ngày càng phổ biến trong chatbot, tin tức và đánh giá phim. Độ chính xác của các phân loại này đặc biệt quan trọng, nhất là với dữ liệu nhạy cảm.
Nhóm nghiên cứu tại MIT LIDS phát triển phần mềm mới giúp đo lường và nâng cao độ chính xác của các bộ phân loại (text classifiers). Phần mềm miễn phí bao gồm hai công cụ: SP-Attack, tạo câu đối kháng (adversarial sentences), và SP-Defense, dùng những câu này để huấn luyện lại mô hình, tăng độ bền vững của bộ phân loại.
Sử dụng câu đối kháng để kiểm tra AI
Câu đối kháng là các câu mô phỏng ngữ cảnh đã được xếp loại, nhưng chỉ thay đổi một từ vẫn giữ nguyên nghĩa. Nếu xử lý dữ liệu đánh dấu sai, đây là điểm yếu cần khắc phục. Nhóm nghiên cứu sử dụng LLM (large language model – mô hình ngôn ngữ lớn) để so sánh nghĩa. Nhờ đó, thông tin gốc được đảm bảo giữ nguyên.
Kết quả cho thấy chỉ một từ trong 30.000 từ vựng có thể thay đổi gần một nửa kết quả phân loại. Hiện tượng này xảy ra trong một số ứng dụng AI. Nhờ vậy, việc kiểm tra có thể tập trung vào nhóm từ quan trọng. Cách làm này giảm khối lượng tính toán so với thử tất cả biến thể có thể.
Tăng độ chính xác bộ phân loại
Sau khi xác định các câu đối kháng, mô hình có thể được huấn luyện lại để xử lý các trường hợp này. Bộ phân loại nhờ đó trở nên chính xác hơn và giảm lỗi nghiêm trọng. Trong một số thử nghiệm, tỷ lệ thành công của tấn công đối kháng giảm từ 66% xuống 33,7%. Dù chỉ cải thiện vài phần trăm, điều này vẫn ảnh hưởng hàng triệu giao dịch trong các hệ thống có hàng tỷ lượt tương tác.
Ứng dụng quan trọng của bộ phân loại chính xác
AI phân loại văn bản không chỉ phục vụ đánh giá phim hay nhà hàng. Chúng còn tác động đến dữ liệu y tế, tài chính, nghiên cứu khoa học, nhận diện thông tin sai lệch và ngôn từ gây thù ghét. Đảm bảo độ chính xác của bộ xử lý thông tin là điều sống còn để tránh hậu quả nghiêm trọng.
Nghiên cứu đã được xuất bản trên Expert Systems và cung cấp sản phẩm open access, giúp bất kỳ ai cũng có thể thử nghiệm và cải thiện bộ phân loại của mình.
Tham khảo: https://news.mit.edu/2025/new-way-test-how-well-ai-systems-classify-text-0813
