Mô hình ngôn ngữ (ML – language model) đang cải thiện đáng kể nhờ chiến lược trò chơi (game-theoretic approach). MIT đã nghiên cứu cơ chế này nhằm nâng cao khả năng hiểu và tạo văn bản, giúp kết quả chính xác và nhất quán hơn. Việc này đặc biệt quan trọng trong các ứng dụng như ChatGPT và các LLM khác.
Cách vận hành trò chơi đồng thuận trong mô hình ngôn ngữ
Các nhà nghiên cứu MIT CSAIL phát triển consensus game – trò chơi đồng thuận, gồm hai thành phần: một phần tạo câu (tương tự đưa manh mối) và một phần giải mã thông tin. Hai phần phối hợp để đạt kết quả chính xác, giảm sai lệch và tăng tính nhất quán cho thuật toán ML.
Ứng dụng thực tiễn
Phương pháp này được thử nghiệm với đọc hiểu, giải toán, suy luận thông thường và hội thoại. Kết quả cho thấy độ chính xác của hệ thống này cải thiện rõ rệt so với các hệ thống lớn hiện có. Điều này chứng tỏ khả năng áp dụng cơ chế trò chơi đồng thuận cho nhiều bài toán thực tế.
Dự án truyền cảm hứng cho mô hình ngôn ngữ
Mô hình ER (equilibrium ranking) trên LLaMA-7B vượt trội hơn nhiều mô hình lớn hơn gấp 10 lần. Các dự án như “Cicero” với kỹ năng đàm phán, chiến lược và ngôn ngữ tự nhiên đã truyền cảm hứng cho ML. Điều đó giúp phát triển các thuật toán trò chơi đồng thuận hiệu quả hơn.
Thách thức và hướng phát triển cho công nghệ
Áp dụng trò chơi đồng thuận cho ML trong bài toán trắc nghiệm và câu hỏi phức tạp đòi hỏi tính toán cao. Đồng thời, hệ thống gặp khó với toán đố dạng văn bản, cần tạo câu trả lời sai để học quy trình ra đáp án đúng. Do đó, đây là bước quan trọng để ML học được logic ra quyết định.
Tương lai của công cụ ngôn ngữ
Nhóm nghiên cứu dự kiến tích hợp phương pháp này vào mô hình ngôn ngữ gốc, nâng cao độ chính xác và nhất quán cho các LLM, bao gồm ChatGPT và các hệ thống tương tự. Việc kết hợp chiến lược trò chơi hứa hẹn mở ra hướng phát triển bền vững cho ML trong mọi lĩnh vực ứng dụng.
Tham khảo: https://news.mit.edu/2024/consensus-game-elevates-ai-text-comprehension-generation-skills-0514
