Dataset nədir?
Dataset (verilənlər toplusu) — müəyyən struktura salınmış və təhlil, modelləşdirmə və ya digər məlumat əsaslı işlər üçün istifadə olunan məlumatlar toplusudur. Dataset adətən cədvəl şəklində olur: sətirlər ayrı-ayrı müşahidələri (nümunələri), sütunlar isə onların xüsusiyyətlərini (atributlarını) təmsil edir. Hər sətir bir obyekti və ya hadisəni, hər sütun isə həmin obyekt haqqında konkret bir məlumatı əks etdirir.
Nümunə
Şagirdlərin imtahan nəticələrinə aid kiçik dataset belə görünə bilər:
ŞagirdDərsə davamiyyət (%)Ev tapşırıqları (%)Həftəlik oxuma (saat)İmtahandan keçdi?Aysel95906BəliMurad70502XeyrNərmin88855Bəli
Burada hər sətir bir şagirddir. İlk dörd sütun modelin istifadə edəcəyi xüsusiyyətlərdir — maşın öyrənməsində onlar feature adlanır. Son sütun (“İmtahandan keçdi?”) isə modelin proqnozlaşdırmalı olduğu hədəf dəyişəndir (target).
Dataset-in əsas xüsusiyyətləri
- Strukturlaşdırılmış məlumat: Dataset adətən cədvəl formatında olur, bu da onu emal etməyi və təhlil etməyi asanlaşdırır. Bununla yanaşı, şəkil, səs və mətn dataset-ləri də var.
- Mənbə müxtəlifliyi: Dataset-lər müxtəlif mənbələrdən toplana bilər — sorğulardan, sensorlardan, veb saytlardan, tətbiqlərdən və s.
- Format müxtəlifliyi: Dataset-lər CSV, Excel, JSON fayllarında və ya SQL verilənlər bazalarında saxlanıla bilər.
- Ölçü: Dataset-lər kiçik (bir neçə onlarla sətir) və ya çox böyük (milyonlarla sətir və yüzlərlə sütun) ola bilər. Çox böyük həcmli məlumatlar üçün Big Data anlayışı işlənir.
Etiketli və etiketsiz dataset-lər
- Etiketli (labeled) dataset: Hər nümunə üçün düzgün cavab məlumdur. Məsələn, hər şəklin yanında “pişik” və ya “it” yazılıb. Model düzgün cavabları görərək öyrənir.
- Etiketsiz (unlabeled) dataset: Düzgün cavablar yoxdur. Model məlumatlardakı oxşarlıqları və qrupları özü tapmalı olur. Məsələn, oxşar alış vərdişləri olan müştəriləri qruplaşdırmaq.
Etiketli dataset-lər çox dəyərlidir, amma onları hazırlamaq çox vaxt aparır: milyonlarla şəkli bir-bir etiketləmək lazım gəlir.
Train, validation və test bölgüsü
Maşın öyrənməsində dataset adətən üç hissəyə bölünür:
- Öyrətmə dəsti (training set) — təxminən 70–80%. Model bu məlumatlar üzərində öyrənir.
- Validasiya dəsti (validation set) — modelin parametrlərini tənzimləmək üçün istifadə olunur.
- Test dəsti (test set) — modelin yekun yoxlaması üçün saxlanılır. Model bu məlumatları öyrənmə zamanı heç vaxt görməməlidir.
Test məlumatları təsadüfən öyrətməyə düşərsə, model real olduğundan daha yaxşı görünür. Bu səhv data leakage adlanır.
Dataset ilə işləmək mərhələləri
- Toplama (Data Collection): Məlumatların müxtəlif mənbələrdən əldə olunması.
- Təmizləmə (Data Cleaning): Boş, yanlış, ziddiyyətli və təkrarlanan məlumatların aradan qaldırılması.
- Transformasiya (Data Transformation): Məlumatların formatlaşdırılması və istifadəyə hazır hala gətirilməsi.
- Təhlil və modelləşdirmə: Məlumatların təhlili, nəticələrin çıxarılması və proqnoz modellərinin qurulması.
- Vizuallaşdırma: Nəticələrin qrafik və diaqramlarla təqdim olunması.
Python-da cədvəl şəklində dataset-i oxumaq çox asandır:
python
import pandas as pd
df = pd.read_csv("sagirdler.csv") # dataset-i oxumaq
print(df.head()) # ilk 5 sətri göstərmək
print(df.shape) # sətir və sütun sayı
Məşhur dataset-lər və onları haradan tapmaq olar
Yeni başlayanlar üçün pulsuz və məşhur dataset-lər var:
- Iris — üç növ zanbaq çiçəyinin ölçüləri. Maşın öyrənməsində ən klassik “ilk dataset”dir.
- Titanic — Titanik gəmisinin sərnişinləri haqqında məlumatlar. Kimin xilas olduğunu proqnozlaşdırmaq üçün istifadə olunur.
- MNIST — 70 000 əlyazma rəqəm şəkli. Görüntü tanımada ilk addım üçün idealdır.
- ImageNet — milyonlarla etiketli şəkil. Müasir CNN modellərinin inkişafında həlledici rol oynayıb.
Dataset-ləri Kaggle, UCI Machine Learning Repository və dövlət açıq məlumat portalları kimi saytlardan pulsuz yükləmək olar.
Keyfiyyət niyə vacibdir?
Data Science-də məşhur bir prinsip var: “Zibil daxil — zibil xaric” (Garbage in, garbage out). Ən güclü model belə pis dataset üzərində yaxşı nəticə verə bilməz. Dataset-də səhvlər, boşluqlar və ya qərəz (bias) varsa — məsələn, üz tanıma sistemi yalnız bir qrup insanın şəkilləri ilə öyrədilibsə — model də bu çatışmazlıqları təkrarlayacaq.
Nəticə
Dataset-lər Data Science və süni intellektin bünövrəsidir. Keyfiyyətli nəticə əldə etmək üçün düzgün toplanmış, təmizlənmiş və strukturlaşdırılmış məlumatlarla işləmək çox vacibdir. Hər bir maşın öyrənməsi layihəsi məhz yaxşı dataset seçimi və hazırlanması ilə başlayır.
Övladınızın real dataset-lərlə işləməyi və öz maşın öyrənməsi modellərini qurmağı öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu

