
İmputasiya — Data Science-də və statistikada itkin (çatışmayan) dəyərlərin doldurulması prosesidir. Real həyatda dataset-lərdə tez-tez boşluqlar olur: sorğuda kimsə bir suala cavab verməyib, sensor bir müddət işləməyib, forma tam doldurulmayıb. Bu boşluqlar təhlilə və model qurulmasına mane olur. İmputasiya isə onları statistik və ya maşın öyrənməsi üsulları ilə məntiqli dəyərlərlə doldurur.
Sadə desək: imputasiya bulmacadakı itkin hissələri ətrafdakı hissələrə baxaraq “təxmin etmək” kimidir.
İtkin dəyərlər:
Ona görə təhlil və model qurulmasından əvvəl məlumatlar təmizlənir, itkin dəyərlər isə düzgün üsulla doldurulur.
Düzgün üsul seçmək üçün əvvəlcə boşluqların səbəbini başa düşmək lazımdır. Statistikada üç növ fərqləndirilir:
Sonuncu halda sadə imputasiya xüsusilə təhlükəlidir, çünki nəticələri sistematik şəkildə təhrif edir.
Ən sadə yol boşluğu olan sətirləri silməkdir. Boşluqlar azdırsa və təsadüfidirsə, bu qəbul edilə bilər. Amma çox vaxt bu, dəyərli məlumatın böyük hissəsinin itirilməsi deməkdir. Məsələn, 20 sütunun hər birində cəmi 5% boşluq olsa, bütün sütunları tam olan sətirlərin sayı xeyli az qala bilər.
1. Sadə statistik üsullar
2. Qrup əsaslı imputasiya. Ortalama və ya median bütün məlumat üzrə deyil, oxşar qrup daxilində hesablanır. Məsələn, şagirdin boy məlumatı itkindirsə, onu bütün şagirdlərin deyil, onun yaşıdlarının orta boyu ilə doldurmaq daha məntiqlidir.
3. Zaman sıralarında doldurma. Zamanla dəyişən məlumatlarda — temperatur, qiymət — boşluq əvvəlki dəyərlə (forward fill) və ya qonşu dəyərlərin arasındakı orta nöqtə ilə (interpolyasiya) doldurulur.
4. Ən yaxın qonşulara əsaslanan imputasiya (KNN). K-ən yaxın qonşu alqoritmi ən oxşar sətirləri tapır və boşluğu onların dəyərlərinə əsasən doldurur.
5. Maşın öyrənməsi əsaslı imputasiya. İtkin dəyəri olan sütun hədəf (target) kimi götürülür, digər sütunlar isə feature kimi istifadə olunur. Model — məsələn, xətti reqressiya və ya qərar ağacı — itkin dəyəri proqnozlaşdırır.
6. Çoxlu imputasiya (MICE). Hər boşluq bir neçə dəfə, bir qədər fərqli dəyərlərlə doldurulur və nəticələr birləşdirilir. Bu üsul imputasiyanın qeyri-müəyyənliyini nəzərə alır və elmi tədqiqatlarda geniş istifadə olunur.
Boşluğu doldurmazdan əvvəl ayrıca sütun yaratmaq faydalı ola bilər: “Bu dəyər itkin idimi? (1 — bəli, 0 — xeyr)”. Bəzən dəyərin itkin olması özü vacib məlumatdır və model ondan faydalana bilir.
Praktikada imputasiya üçün hazır alətlərdən istifadə olunur:
İmputasiya üçün ortalama, median və ya model yalnız təlim (train) hissəsi üzrə hesablanmalıdır, sonra isə test hissəsinə tətbiq olunmalıdır. Əgər ortalamanı bütün məlumat üzrə — test hissəsi daxil — hesablasanız, model testdəki məlumatdan gizli şəkildə “xəbər tutur” və nəticələri real olduğundan yaxşı görünür. Bu səhv Data Leakage adlanır.
İmputasiya Data Science-də məlumat hazırlığının ayrılmaz hissəsidir. Düzgün üsul seçiləndə modelin keyfiyyətini artırır və təhlilin nəticələrini daha etibarlı edir. Hansı üsulun seçilməsi məlumatın tipindən, itkin dəyərlərin sayından, onların niyə itkin olmasından və layihənin məqsədindən asılıdır.
Övladınızın süni intellektin necə işlədiyini başa düşməyi və real məlumatlarla işləməyi öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu