Jet School Logo

Data Leakage nədir?

Data Leakage (məlumat sızması) — maşın öyrənməsi modelinin öyrədilməsi zamanı modelin real istifadə vaxtı əlində olmayacaq məlumatların təsadüfən öyrətmə (train) məlumatlarına düşməsidir. Nəticədə model test zamanı süni şəkildə çox yaxşı nəticə göstərir, real həyatda tətbiq olunanda isə uğursuz olur.

Sadə desək: bu, imtahandan əvvəl cavabları görmüş şagirdə bənzəyir. Şagird imtahanda yüksək bal alır, amma mövzunu əslində bilmir — yeni sual veriləndə çətinlik çəkir.

Qeyd: Kibertəhlükəsizlikdə “data leakage” ifadəsi başqa mənada da işlənir: şirkətin və ya istifadəçilərin məxfi məlumatlarının icazəsiz olaraq kənara sızması. Belə sızmış məlumatlar çox vaxt Dark Web-də satışa çıxarılır. Bu səhifə isə terminin maşın öyrənməsindəki mənası haqqındadır.

Nə üçün təhlükəlidir?

Data leakage olduqda model öyrədilmə zamanı test məlumatları və ya düzgün cavabla birbaşa bağlı məlumatlarla tanış olur. Nəticədə:

  • Test zamanı nəticələr qeyri-real dərəcədə yüksək olur (məsələn, 99% dəqiqlik);
  • Real məlumatlar üzərində isə model zəif işləyir.

Ən təhlükəlisi odur ki, problem çox vaxt yalnız model real istifadəyə buraxıldıqdan sonra üzə çıxır.

Data leakage-i overfitting ilə qarışdırmaq olmaz:

  • Overfitting zamanı model öyrətmə məlumatlarını “əzbərləyir” və bu, test nəticələrində özünü göstərir: test nəticəsi öyrətmə nəticəsindən xeyli aşağı olur.
  • Data leakage zamanı isə test nəticəsi də yüksək olur, çünki model test zamanı “cavabı bilir”. Ona görə də onu aşkarlamaq daha çətindir.

Nümunə

Tutaq ki, xəstənin xərçəng olub-olmadığını proqnozlaşdıran model qurursunuz. Məlumat dəstində belə bir sütun var:

“Xəstə əməliyyat olunubmu?”

Bu məlumat diaqnoz qoyulduqdan sonra yaranır: əməliyyat adətən məhz xəstəlik aşkarlandıqdan sonra aparılır. Əgər bu sütunu modelə versəniz, model sadəcə “əməliyyat olunubsa, deməli, xəstədir” qaydasını öyrənəcək və test zamanı çox yüksək dəqiqlik göstərəcək. Lakin real həyatda, diaqnoz qoyulmamış yeni xəstə üçün bu məlumat hələ mövcud deyil. Model yararsız olacaq.

Data leakage necə baş verir?

1. Öyrətmə və test məlumatlarının qarışması

Məsələn, eyni şəxsin məlumatları həm train, həm də test dəstinə düşür, ya da məlumatlarda təkrarlanan sətirlər var.

2. Gələcəkdən məlumat (target leakage)

Modelə yalnız nəticədən sonra məlum olacaq məlumat verilir. Məsələn, müştərinin krediti qaytarıb-qaytarmayacağını proqnozlaşdırarkən “müştəri gecikmə cəriməsi ödəyibmi?” sütunundan istifadə etmək.

3. Zaman sıralarında təsadüfi bölmə

Satış, hava və ya birja proqnozu kimi proqnoz analitikası tapşırıqlarında məlumatı təsadüfi bölmək model “gələcəyə baxıb keçmişi proqnozlaşdırmasına” səbəb olur. Belə məlumatlar həmişə zamana görə bölünməlidir: keçmişlə öyrət, gələcəklə yoxla.

4. Preprocessing zamanı sızma

Orta qiymət, standart sapma kimi statistikalar bütün məlumat dəsti üzrə hesablanır, sonra isə məlumat train və testə bölünür. Beləliklə, test məlumatları haqqında informasiya öyrətməyə “sızır”.

Necə qarşısını almaq olar?

  • Train və test bölməsini ən başda aparın. Test məlumatlarını modelin yekun yoxlamasına qədər heç bir mərhələdə istifadə etməyin.
  • Hər feature-i (əlaməti) yoxlayın. Özünüzdən soruşun: “Bu məlumat proqnoz veriləcək anda həqiqətən əlimdə olacaqmı?”
  • Preprocessing-i yalnız train məlumatları üzərində öyrədin, sonra eyni parametrləri test məlumatlarına tətbiq edin.
  • Şübhəli dərəcədə yüksək nəticələrə inanmayın. Model gözləniləndən xeyli yaxşı işləyirsə, ilk növbədə sızma axtarın.
  • Sahə mütəxəssislərindən kömək alın. Məsələn, həkim və ya bankir hansı məlumatın nə vaxt yarandığını proqramçıdan daha yaxşı bilir.

Python-da scikit-learn kitabxanası ilə səhv və düzgün yanaşma:

python

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

# ❌ Səhv: miqyaslama bütün məlumat üzərində öyrədilir

X_scaled = StandardScaler().fit_transform(X)

X_train, X_test, y_train, y_test = train_test_split(X_scaled, y)

# ✅ Düzgün: əvvəlcə bölmə, sonra miqyaslama yalnız train üzərində öyrədilir

X_train, X_test, y_train, y_test = train_test_split(X, y)

scaler = StandardScaler().fit(X_train)

X_train = scaler.transform(X_train)

X_test = scaler.transform(X_test)

Nəticə

Data Leakage maşın öyrənməsinin ən ciddi və ən çətin aşkarlanan problemlərindən biridir. Vaxtında aşkarlanmasa, modeli real həyatda tamamilə yararsız edə bilər. Ona görə məlumatların bölünməsi, əlamətlərin seçilməsi və xüsusilə preprocessing mərhələlərində yüksək diqqət tələb olunur. Süni intellekt layihələrində “nəticə çox yaxşıdırsa, yoxla” qaydası peşəkar yanaşmanın əsas əlamətlərindən biridir.

Övladınızın real maşın öyrənməsi layihələri yaratmağı və onları düzgün qiymətləndirməyi öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu

Tədris sahələrimiz barədə məlumat almaq üçün qeydiyyatdan keçin

IT Sahəsini öyrənməyə başla