Kỹ thuật xác thực giúp các nhà khoa học đánh giá độ tin cậy của dự báo trước khi áp dụng thực tế. Khi xử lý các bài toán dự báo không gian (spatial prediction) như dự báo thời tiết hoặc ước tính ô nhiễm không khí, chuyên gia cần dự đoán giá trị tại một vị trí mới dựa trên dữ liệu thu thập từ những điểm đã biết. Nhờ kỹ thuật xác thực, dự báo có thể được đánh giá một cách đáng tin cậy ngay từ giai đoạn thử nghiệm.
Vì vậy, trong nhiều năm, các phương pháp kiểm chứng truyền thống được sử dụng để xem dự báo có đáng tin hay không. Thế nhưng, qua quá trình phân tích sâu hơn, nhóm nghiên cứu MIT nhận ra điều quan trọng. Họ thấy những phương pháp quen thuộc này không còn phù hợp với dữ liệu không gian. Thậm chí, chúng có thể dẫn đến đánh giá sai lệch khá lớn.
Tại sao kiểm chứng truyền thống thất bại
Các phương pháp kiểm chứng quen thuộc giả định thông tin dùng để kiểm tra độ chính xác là độc lập. Chúng cũng giả định dữ liệu cuối cùng có phân phối giống nhau. Trong thực tế, dữ liệu không gian thường phụ thuộc lẫn nhau và có đặc điểm khác nhau giữa các vị trí. Ví dụ, cảm biến ô nhiễm của EPA gần thành phố không độc lập với các cảm biến khác và có đặc tính khác vùng bảo tồn nông thôn. Do đó, kiểm chứng theo cách truyền thống có thể dẫn đến đánh giá sai lệch. Kết quả là dự báo không đáng tin cậy.
Phương pháp mới dành riêng cho dữ liệu không gian
Từ hạn chế đó, nhóm nghiên cứu MIT đề xuất một cách kiểm tra độ chính xác mới, dựa trên giả định rằng các giá trị trong không gian biến đổi mượt mà theo vị trí. Ví dụ, mức ô nhiễm không khí giữa hai căn nhà kề nhau hiếm khi chênh lệch đột ngột. Nhờ cơ chế này, kỹ thuật kiểm chứng mới có thể đánh giá chất lượng dự báo theo đúng khu vực cần dự đoán và sử dụng tập kiểm tra độc lập để ước lượng độ tin cậy cuối cùng.
Ứng dụng và thử nghiệm
Kỹ thuật xác thực được thử nghiệm trên dữ liệu mô phỏng, bán mô phỏng và dữ liệu thực tế. Nó bao gồm dự đoán tốc độ gió tại sân bay Chicago O-Hare và nhiệt độ không khí tại năm thành phố Mỹ. Kết quả cho thấy kỹ thuật xác thực mang lại độ tin cậy cao hơn hai phương pháp kiểm chứng trước đó.
Trong tương lai, cách tiếp cận này có thể hỗ trợ dự báo nhiệt độ mặt biển. Nó cũng giúp đánh giá tác động ô nhiễm không khí đến sức khỏe. Bên cạnh đó, kỹ thuật còn cải thiện dự đoán dữ liệu chuỗi thời gian.
Lời kết
“Hy vọng kỹ thuật xác thực sẽ dẫn đến đánh giá đáng tin cậy hơn khi phát triển phương pháp dự báo mới,” Tamara Broderick, phó giáo sư MIT EECS, nhấn mạnh.
Được biết, nghiên cứu được thực hiện bởi Broderick, David R. Burt và Yunyi Shen, được trình bày tại Hội nghị Quốc tế về Trí tuệ Nhân tạo và Thống kê (AISTATS).
