Jet School Logo

İmputasiya nədir?

İmputasiya — Data Science-də və statistikada itkin (çatışmayan) dəyərlərin doldurulması prosesidir. Real həyatda dataset-lərdə tez-tez boşluqlar olur: sorğuda kimsə bir suala cavab verməyib, sensor bir müddət işləməyib, forma tam doldurulmayıb. Bu boşluqlar təhlilə və model qurulmasına mane olur. İmputasiya isə onları statistik və ya maşın öyrənməsi üsulları ilə məntiqli dəyərlərlə doldurur.

Sadə desək: imputasiya bulmacadakı itkin hissələri ətrafdakı hissələrə baxaraq “təxmin etmək” kimidir.

Niyə vacibdir?

İtkin dəyərlər:

  • modelin dəqiqliyini azalda bilər;
  • statistik nəticələri təhrif edə bilər;
  • modelin ümumiyyətlə işləməməsinə səbəb ola bilər — bir çox alqoritm boş dəyərlərlə (NaN — “Not a Number”) işləyə bilmir.

Ona görə təhlil və model qurulmasından əvvəl məlumatlar təmizlənir, itkin dəyərlər isə düzgün üsulla doldurulur.

Əvvəlcə sual: dəyərlər niyə itkindir?

Düzgün üsul seçmək üçün əvvəlcə boşluqların səbəbini başa düşmək lazımdır. Statistikada üç növ fərqləndirilir:

  • Tamamilə təsadüfi itkinlik (MCAR): Boşluqların heç bir səbəbi yoxdur — məsələn, anket təsadüfən itib.
  • Təsadüfi itkinlik (MAR): Boşluqlar başqa məlum faktorlardan asılıdır — məsələn, yaşlı insanlar onlayn sorğuda bəzi sualları daha az cavablandırır.
  • Qeyri-təsadüfi itkinlik (MNAR): Boşluq dəyərin özü ilə bağlıdır — məsələn, çox yüksək gəlirli insanlar gəlirlərini göstərmək istəmirlər.

Sonuncu halda sadə imputasiya xüsusilə təhlükəlidir, çünki nəticələri sistematik şəkildə təhrif edir.

Alternativ: silmək

Ən sadə yol boşluğu olan sətirləri silməkdir. Boşluqlar azdırsa və təsadüfidirsə, bu qəbul edilə bilər. Amma çox vaxt bu, dəyərli məlumatın böyük hissəsinin itirilməsi deməkdir. Məsələn, 20 sütunun hər birində cəmi 5% boşluq olsa, bütün sütunları tam olan sətirlərin sayı xeyli az qala bilər.

İmputasiya üsulları

1. Sadə statistik üsullar

  • Ortalama (mean): Boşluq həmin sütunun ortalaması ilə doldurulur. Ən sadə və ən geniş yayılmış üsuldur.
  • Median: Məlumat asimmetrikdirsə və ya kənar (həddindən artıq böyük və ya kiçik) dəyərlər varsa, median daha etibarlıdır. Məsələn, maaş məlumatlarında bir neçə milyonçu ortalamanı süni şəkildə qaldırır, medianı isə demək olar ki, dəyişmir.
  • Moda: Kateqoriyalı məlumatlarda — məsələn, şəhər, rəng — boşluq ən çox təkrarlanan dəyərlə doldurulur.

2. Qrup əsaslı imputasiya. Ortalama və ya median bütün məlumat üzrə deyil, oxşar qrup daxilində hesablanır. Məsələn, şagirdin boy məlumatı itkindirsə, onu bütün şagirdlərin deyil, onun yaşıdlarının orta boyu ilə doldurmaq daha məntiqlidir.

3. Zaman sıralarında doldurma. Zamanla dəyişən məlumatlarda — temperatur, qiymət — boşluq əvvəlki dəyərlə (forward fill) və ya qonşu dəyərlərin arasındakı orta nöqtə ilə (interpolyasiya) doldurulur.

4. Ən yaxın qonşulara əsaslanan imputasiya (KNN). K-ən yaxın qonşu alqoritmi ən oxşar sətirləri tapır və boşluğu onların dəyərlərinə əsasən doldurur.

5. Maşın öyrənməsi əsaslı imputasiya. İtkin dəyəri olan sütun hədəf (target) kimi götürülür, digər sütunlar isə feature kimi istifadə olunur. Model — məsələn, xətti reqressiya və ya qərar ağacı — itkin dəyəri proqnozlaşdırır.

6. Çoxlu imputasiya (MICE). Hər boşluq bir neçə dəfə, bir qədər fərqli dəyərlərlə doldurulur və nəticələr birləşdirilir. Bu üsul imputasiyanın qeyri-müəyyənliyini nəzərə alır və elmi tədqiqatlarda geniş istifadə olunur.

Faydalı əlavə: “itkinlik göstəricisi”

Boşluğu doldurmazdan əvvəl ayrıca sütun yaratmaq faydalı ola bilər: “Bu dəyər itkin idimi? (1 — bəli, 0 — xeyr)”. Bəzən dəyərin itkin olması özü vacib məlumatdır və model ondan faydalana bilir.

Python-da imputasiya

Praktikada imputasiya üçün hazır alətlərdən istifadə olunur:

  • pandas kitabxanası — boşluqları sadə qaydalarla doldurmaq üçün fillna() metodu;
  • scikit-learn kitabxanası — SimpleImputer (ortalama, median, moda), KNNImputer (ən yaxın qonşular) və IterativeImputer (modellə doldurma).

⚠️ Ən çox edilən səhv: məlumat sızması

İmputasiya üçün ortalama, median və ya model yalnız təlim (train) hissəsi üzrə hesablanmalıdır, sonra isə test hissəsinə tətbiq olunmalıdır. Əgər ortalamanı bütün məlumat üzrə — test hissəsi daxil — hesablasanız, model testdəki məlumatdan gizli şəkildə “xəbər tutur” və nəticələri real olduğundan yaxşı görünür. Bu səhv Data Leakage adlanır.

Üstünlükləri

  • Daha sabit modellər: Boşluqlar doldurulduqda model bütün məlumatla işləyə bilir.
  • Məlumat itkisi olmur: Boşluğu olan sətirləri silmək əvəzinə onları saxlamağa imkan verir.
  • Təhlil üçün tam dataset yaranır.

Riskləri

  • Səhv seçilmiş üsul təhlilin nəticələrini təhrif edə bilər.
  • Süni şəkildə əlavə olunan dəyərlər reallığı tam əks etdirmir.
  • Ortalama ilə doldurma məlumatın səpələnməsini süni şəkildə azaldır və sütunlar arasındakı əlaqələri zəiflədir.
  • Boşluqlar çoxdursa — məsələn, sütunun yarısı — sadə imputasiya modeli zəiflədə bilər. Belə hallarda sütunu ümumiyyətlə çıxarmaq daha düzgün ola bilər.

Nəticə

İmputasiya Data Science-də məlumat hazırlığının ayrılmaz hissəsidir. Düzgün üsul seçiləndə modelin keyfiyyətini artırır və təhlilin nəticələrini daha etibarlı edir. Hansı üsulun seçilməsi məlumatın tipindən, itkin dəyərlərin sayından, onların niyə itkin olmasından və layihənin məqsədindən asılıdır.

Övladınızın süni intellektin necə işlədiyini başa düşməyi və real məlumatlarla işləməyi öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu

Tədris sahələrimiz barədə məlumat almaq üçün qeydiyyatdan keçin

Əlaqəli terminlər:

IT Sahəsini öyrənməyə başla