
Data Leakage (məlumat sızması) — maşın öyrənməsi modelinin öyrədilməsi zamanı modelin real istifadə vaxtı əlində olmayacaq məlumatların təsadüfən öyrətmə (train) məlumatlarına düşməsidir. Nəticədə model test zamanı süni şəkildə çox yaxşı nəticə göstərir, real həyatda tətbiq olunanda isə uğursuz olur.
Sadə desək: bu, imtahandan əvvəl cavabları görmüş şagirdə bənzəyir. Şagird imtahanda yüksək bal alır, amma mövzunu əslində bilmir — yeni sual veriləndə çətinlik çəkir.
Qeyd: Kibertəhlükəsizlikdə “data leakage” ifadəsi başqa mənada da işlənir: şirkətin və ya istifadəçilərin məxfi məlumatlarının icazəsiz olaraq kənara sızması. Belə sızmış məlumatlar çox vaxt Dark Web-də satışa çıxarılır. Bu səhifə isə terminin maşın öyrənməsindəki mənası haqqındadır.
Data leakage olduqda model öyrədilmə zamanı test məlumatları və ya düzgün cavabla birbaşa bağlı məlumatlarla tanış olur. Nəticədə:
Ən təhlükəlisi odur ki, problem çox vaxt yalnız model real istifadəyə buraxıldıqdan sonra üzə çıxır.
Data leakage-i overfitting ilə qarışdırmaq olmaz:
Tutaq ki, xəstənin xərçəng olub-olmadığını proqnozlaşdıran model qurursunuz. Məlumat dəstində belə bir sütun var:
“Xəstə əməliyyat olunubmu?”
Bu məlumat diaqnoz qoyulduqdan sonra yaranır: əməliyyat adətən məhz xəstəlik aşkarlandıqdan sonra aparılır. Əgər bu sütunu modelə versəniz, model sadəcə “əməliyyat olunubsa, deməli, xəstədir” qaydasını öyrənəcək və test zamanı çox yüksək dəqiqlik göstərəcək. Lakin real həyatda, diaqnoz qoyulmamış yeni xəstə üçün bu məlumat hələ mövcud deyil. Model yararsız olacaq.
1. Öyrətmə və test məlumatlarının qarışması
Məsələn, eyni şəxsin məlumatları həm train, həm də test dəstinə düşür, ya da məlumatlarda təkrarlanan sətirlər var.
2. Gələcəkdən məlumat (target leakage)
Modelə yalnız nəticədən sonra məlum olacaq məlumat verilir. Məsələn, müştərinin krediti qaytarıb-qaytarmayacağını proqnozlaşdırarkən “müştəri gecikmə cəriməsi ödəyibmi?” sütunundan istifadə etmək.
3. Zaman sıralarında təsadüfi bölmə
Satış, hava və ya birja proqnozu kimi proqnoz analitikası tapşırıqlarında məlumatı təsadüfi bölmək model “gələcəyə baxıb keçmişi proqnozlaşdırmasına” səbəb olur. Belə məlumatlar həmişə zamana görə bölünməlidir: keçmişlə öyrət, gələcəklə yoxla.
4. Preprocessing zamanı sızma
Orta qiymət, standart sapma kimi statistikalar bütün məlumat dəsti üzrə hesablanır, sonra isə məlumat train və testə bölünür. Beləliklə, test məlumatları haqqında informasiya öyrətməyə “sızır”.
Python-da scikit-learn kitabxanası ilə səhv və düzgün yanaşma:
python
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
# ❌ Səhv: miqyaslama bütün məlumat üzərində öyrədilir
X_scaled = StandardScaler().fit_transform(X)
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y)
# ✅ Düzgün: əvvəlcə bölmə, sonra miqyaslama yalnız train üzərində öyrədilir
X_train, X_test, y_train, y_test = train_test_split(X, y)
scaler = StandardScaler().fit(X_train)
X_train = scaler.transform(X_train)
X_test = scaler.transform(X_test)
Data Leakage maşın öyrənməsinin ən ciddi və ən çətin aşkarlanan problemlərindən biridir. Vaxtında aşkarlanmasa, modeli real həyatda tamamilə yararsız edə bilər. Ona görə məlumatların bölünməsi, əlamətlərin seçilməsi və xüsusilə preprocessing mərhələlərində yüksək diqqət tələb olunur. Süni intellekt layihələrində “nəticə çox yaxşıdırsa, yoxla” qaydası peşəkar yanaşmanın əsas əlamətlərindən biridir.
Övladınızın real maşın öyrənməsi layihələri yaratmağı və onları düzgün qiymətləndirməyi öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu