
Dataset (verilənlər toplusu) — müəyyən struktura salınmış və təhlil, modelləşdirmə və ya digər məlumat əsaslı işlər üçün istifadə olunan məlumatlar toplusudur. Dataset adətən cədvəl şəklində olur: sətirlər ayrı-ayrı müşahidələri (nümunələri), sütunlar isə onların xüsusiyyətlərini (atributlarını) təmsil edir. Hər sətir bir obyekti və ya hadisəni, hər sütun isə həmin obyekt haqqında konkret bir məlumatı əks etdirir.
Şagirdlərin imtahan nəticələrinə aid kiçik dataset belə görünə bilər:
ŞagirdDərsə davamiyyət (%)Ev tapşırıqları (%)Həftəlik oxuma (saat)İmtahandan keçdi?Aysel95906BəliMurad70502XeyrNərmin88855Bəli
Burada hər sətir bir şagirddir. İlk dörd sütun modelin istifadə edəcəyi xüsusiyyətlərdir — maşın öyrənməsində onlar feature adlanır. Son sütun (“İmtahandan keçdi?”) isə modelin proqnozlaşdırmalı olduğu hədəf dəyişəndir (target).
Etiketli dataset-lər çox dəyərlidir, amma onları hazırlamaq çox vaxt aparır: milyonlarla şəkli bir-bir etiketləmək lazım gəlir.
Maşın öyrənməsində dataset adətən üç hissəyə bölünür:
Test məlumatları təsadüfən öyrətməyə düşərsə, model real olduğundan daha yaxşı görünür. Bu səhv data leakage adlanır.
Python-da cədvəl şəklində dataset-i oxumaq çox asandır:
python
import pandas as pd
df = pd.read_csv("sagirdler.csv") # dataset-i oxumaq
print(df.head()) # ilk 5 sətri göstərmək
print(df.shape) # sətir və sütun sayı
Yeni başlayanlar üçün pulsuz və məşhur dataset-lər var:
Dataset-ləri Kaggle, UCI Machine Learning Repository və dövlət açıq məlumat portalları kimi saytlardan pulsuz yükləmək olar.
Data Science-də məşhur bir prinsip var: “Zibil daxil — zibil xaric” (Garbage in, garbage out). Ən güclü model belə pis dataset üzərində yaxşı nəticə verə bilməz. Dataset-də səhvlər, boşluqlar və ya qərəz (bias) varsa — məsələn, üz tanıma sistemi yalnız bir qrup insanın şəkilləri ilə öyrədilibsə — model də bu çatışmazlıqları təkrarlayacaq.
Dataset-lər Data Science və süni intellektin bünövrəsidir. Keyfiyyətli nəticə əldə etmək üçün düzgün toplanmış, təmizlənmiş və strukturlaşdırılmış məlumatlarla işləmək çox vacibdir. Hər bir maşın öyrənməsi layihəsi məhz yaxşı dataset seçimi və hazırlanması ilə başlayır.
Övladınızın real dataset-lərlə işləməyi və öz maşın öyrənməsi modellərini qurmağı öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu