Ngăn AI phản hồi độc hại (toxic) là thách thức quan trọng khi triển khai chatbot. Người dùng có thể yêu cầu ChatGPT viết chương trình hoặc tóm tắt bài báo, và AI thường đáp ứng chính xác. Tuy nhiên, nếu được hỏi cách chế tạo bom, chatbot có thể tạo ra nội dung nguy hiểm.
Red-teaming truyền thống giúp ngăn AI phản hồi sai lệch
Các công ty phát triển mô hình ngôn ngữ lớn (large language models) thường sử dụng nhóm thử nghiệm an toàn (red-teaming) – nhóm thử nghiệm con người tạo ra câu lệnh đầu vào (prompt) để kiểm tra phản hồi độc hại. Nhưng phương pháp này chỉ hiệu quả nếu người kiểm thử nhận diện đủ loại câu lệnh độc hại (toxic prompt), điều khó đảm bảo với số lượng khả năng gần như vô hạn.
Red-teaming tự động bằng học máy
Nhóm nghiên cứu tại Improbable AI Lab và MIT-IBM Watson AI Lab đã cải tiến red-teaming bằng học máy (machine learning). Họ huấn luyện một hệ thống red-team tự động sinh các prompt đa dạng, nhắm vào câu trả lời độc hại từ chatbot. Mô hình này được khuyến khích “tò mò” khi tạo prompt mới, giúp phát hiện nhiều kết quả rủi ro hơn so với con người hoặc các phương pháp tự động trước đó.
Khám phá dựa trên tính tò mò giúp ngăn AI phản hồi sai
Kỹ thuật này vượt trội nhờ khả năng tạo prompt mới liên tục, tối ưu hóa cả độ độc hại và sự đa dạng. Red-teaming tự động thường dựa vào học tăng cường (reinforcement learning) – quá trình thử-sai để thưởng cho mô hình khi tạo ra prompt khiến chatbot phản hồi độc hại.
MIT áp dụng khám phá dựa trên tính tò mò, khuyến khích cổ máy AI tìm kiếm prompt khác biệt về từ ngữ, cấu trúc câu hoặc ý nghĩa. Ngoài ra, mô hình nhận thưởng tính ngẫu nhiên để tăng tính đa dạng, cùng phần thưởng cho sự mới lạ (novelty rewards) dựa trên sự khác biệt về từ vựng và ý nghĩa ngữ cảnh. Phần thưởng ngôn ngữ tự nhiên (Naturalistic language bonus) được thêm để tránh tạo ra văn bản vô nghĩa.
Kết quả và triển vọng
Kết quả cho thấy cỗ máy AI vượt trội về cả độ độc hại và tính đa dạng. Đồng thời, với chatbot đã được huấn luyện bằng phản hồi con người, mô hình tò mò này tạo ra 196 prompt kích hoạt câu trả lời rủi ro trong thời gian ngắn. Pulkit Agrawal – Giám đốc Improbable AI Lab – nhấn mạnh rằng, với số lượng hệ thống AI ngày càng tăng, kiểm tra thủ công không còn khả thi. Do đó, red-teaming dựa trên tính tò mò giúp giảm nỗ lực con người, đồng thời đảm bảo chatbot an toàn và đáng tin cậy.
Trong tương lai, nhóm nghiên cứu muốn mở rộng cỗ máy AI để tạo prompt trên nhiều chủ đề khác nhau. Họ cũng dự định sử dụng mô hình ngôn ngữ lớn làm bộ phân loại nguy cơ, nhằm giúp kiểm tra chatbot tuân thủ chính sách công ty.
Tham khảo: https://news.mit.edu/2024/faster-better-way-preventing-ai-chatbot-toxic-responses-0410
