Ketahanan Model Machine Learning terhadap Ketidaklengkapan Data Survei untuk Prediksi Kinerja Akademik

Abstrak

Model prediksi berbasis survei biasanya dievaluasi pada respons lengkap, padahal ketidaklengkapan dapat muncul secara acak maupun terstruktur. Penelitian ini mengevaluasi kapan informasi survei masih cukup untuk memprediksi persepsi perubahan kinerja akademik pada dataset publik berisi 361 respons, 28 prediktor, dan tiga kelas yang tidak seimbang. Tiga konfigurasi fitur—seluruh prediktor (F1), tanpa tiga item berisiko proxy (F2), dan hanya fitur kontekstual (F3)—dievaluasi menggunakan CatBoost dengan repeated stratified 5-fold cross-validation sebanyak lima pengulangan. Macro F1 baseline masing-masing adalah 0,414±0,047, 0,384±0,042, dan 0,351±0,046. Recall kelas menurun hanya 0,023 pada F1 dan 0,010 pada F2 serta F3, sehingga performa absolut belum memadai untuk identifikasi mahasiswa berisiko. Pada F2, kehilangan 50% item secara acak masih mempertahankan 94,8% Macro F1 baseline ketika hanya data uji tidak lengkap dan 97,7% ketika data latih serta uji sama-sama tidak lengkap. Sebaliknya, monotone dropout dengan hanya 50% atau 25% item awal teramati menurunkan retensi menjadi 79,3% dan 78,8% (Holm-adjusted p<0,001). Hasil menunjukkan bahwa kecukupan relatif bergantung pada pola kehilangan, tetapi retensi tinggi tidak menjamin kelayakan prediksi ketika baseline lemah dan kelas minoritas hampir tidak terdeteksi.