Khi mô hình ngôn ngữ lớn (LLMs – large language models) ngày càng mạnh, nhiều người quen với việc các hệ thống này viết bài hoặc lập thực đơn gần như ngay lập tức. Tuy vậy, trước đây, các nền tảng ấy vẫn dễ sai khi gặp bài toán phức tạp. Từ đây, khái niệm chi phí tư duy xuất hiện khi mô hình suy luận mới được huấn luyện để xử lý vấn đề từng bước giống con người.
Các nhà khoa học tại Viện McGovern (MIT) cho biết nhóm mô hình này phải bỏ ra mức chi phí tương tự con người khi đối diện câu hỏi khó. Kết quả được công bố trên tạp chí PNAS.
Chi phí trong mô hình suy luận
Những mô hình suy luận hiện đại dựa trên mạng nơ-ron nhân tạo (ANNs – artificial neural networks) để học từ dữ liệu. Khi mở rộng không gian xử lý, mô hình phân rã nhiệm vụ thành nhiều phần nhỏ để tìm lời giải. Hơn nữa, kỹ thuật học tăng cường (reinforcement learning) giúp mô hình được thưởng khi đúng và bị phạt khi sai, nhờ vậy chúng tự cải thiện. Mặc dù mất thời gian hơn, kết quả chính xác hơn nhiều so với LLMs cũ.
Chi phí và sự tương đồng với tư duy con người
Nhóm nghiên cứu đo chi phí bằng cách so sánh thời gian con người suy nghĩ với số token (từ hoặc cụm từ mà mô hình xử lý) mô hình tạo trong chuỗi suy luận nội bộ. Token này không gửi ra ngoài mà hoạt động như “độc thoại” khi xử lý bài toán.
Kết quả cho thấy dạng câu hỏi làm con người mất thời gian cũng khiến mô hình tạo nhiều token nhất. Phép tính đơn giản cần ít chi phí, còn bài ARC – dạng suy luận quy luật màu sắc – tốn mức chi phí lớn nhất.
Mặc cho việc các hệ thống này có “tự nói chuyện”, chúng không suy nghĩ bằng ngôn ngữ. Quá trình vận hành diễn ra trong không gian biểu diễn trừu tượng, giống con người khi tư duy mà không dùng lời.
Dù vậy, các hệ thống này vẫn chưa đạt đến khả năng suy luận dựa trên kiến thức đời sống rộng như con người. Những nhiệm vụ cần hiểu biết ngoài dữ liệu huấn luyện tiếp tục là thách thức dài hạn.
