Báo cáo y tế là yếu tố then chốt quyết định độ chính xác của chẩn đoán X-quang. Các bác sĩ thường dùng từ như “có thể” hay “có khả năng cao” để diễn tả mức độ chắc chắn về bệnh lý, ví dụ viêm phổi. Nghiên cứu từ MIT phối hợp Harvard Medical School chỉ ra rằng mức độ tự tin này đôi khi không phản ánh đúng xác suất thực tế.
Khung đánh giá độ tin cậy trong báo cáo y tế
Nhóm nghiên cứu đã phát triển một khung đánh giá độ tin cậy dựa trên dữ liệu lâm sàng. Nó giúp đo lường cách bác sĩ dùng ngôn ngữ để biểu đạt mức độ chắc chắn. Hơn nữa, phương pháp này còn áp dụng cho mô hình ngôn ngữ lớn (large language models). Do đó, nó cải thiện sự tương thích giữa từ ngữ diễn tả và độ chính xác dự đoán.
Ví dụ: khi ghi “có thể bị viêm phổi”, bác sĩ khác có thể yêu cầu CT scan xác nhận. Ngược lại, nếu ghi “có khả năng cao”, bệnh nhân có thể được điều trị ngay, điển hình là kê kháng sinh kèm kiểm tra bổ sung.
Phân phối xác suất trong ngôn từ y tế
Khung nghiên cứu không cố gắng chuyển các từ ngữ thành xác suất cụ thể. Thay vào đó, nó coi chúng như phân phối xác suất (probability distributions). Điều này giúp thể hiện đầy đủ sắc thái ý nghĩa của từng từ. Ví dụ, “consistent with” liên kết với xác suất cao, khoảng 90–100%. Ngược lại, “may represent” rộng hơn và tập trung quanh 50%.
Cải thiện hiệu chuẩn báo cáo y tế
Để nâng cao độ hiệu chuẩn (calibration), các nhà nghiên cứu tối ưu hóa tần suất sử dụng từng cụm từ. Họ cũng tạo bản đồ hiệu chuẩn (calibration map) để hướng dẫn bác sĩ chọn từ phù hợp. Qua đó, nghiên cứu cho thấy bác sĩ thường thiếu chắc chắn với bệnh phổ biến như xẹp phổi. Ngược lại, bác sĩ lại quá tự tin với bệnh mơ hồ như nhiễm trùng
Ứng dụng cho mô hình ngôn ngữ AI
Cách tiếp cận này cũng giúp đánh giá mô hình ngôn ngữ AI, cung cấp biểu diễn tự tin tinh vi hơn so với cách truyền thống dựa trên điểm số xác suất. Thêm vào đó, việc cải thiện cách diễn đạt chắc chắn giúp nâng cao độ tin cậy báo cáo. Nhờ đó, phương pháp này cũng tối ưu quyết định lâm sàng và cải thiện chăm sóc bệnh nhân.
Hướng phát triển tương lai
Nhóm nghiên cứu dự kiến mở rộng dữ liệu sang CT scan ổ bụng và đánh giá mức độ thích ứng của bác sĩ với các đề xuất cải thiện hiệu chuẩn.
