Data Wrangling — müxtəlif mənbələrdən toplanmış xam (emal olunmamış) məlumatların təmizlənməsi, çevrilməsi, standartlaşdırılması və analizə hazır vəziyyətə gətirilməsi prosesidir. Bu proses Data Science, Data Analytics, Machine Learning və Big Data layihələrinin uğurla həyata keçirilməsi üçün ən vacib ilkin mərhələlərdən biridir. Çünki məlumatların keyfiyyəti birbaşa əldə ediləcək nəticələrin dəqiqliyinə təsir edir.

Əgər məlumatlar natamam, səhv dəyərlərlə dolu və ya uyğunsuz formatdadırsa, istənilən analitik hesabat və ya maşın öyrənməsi modeli yalnış nəticələr verə bilər. Buna görə də, Data Wrangling mərhələsi çox zaman layihənin ümumi iş yükünün 60%-dən çoxunu təşkil edir.

📜 Tarixi arxa plan

Data wrangling anlayışı ilk dəfə 1970-ci illərin sonlarında məlumat bazaları və statistik analiz proqramlarının yayılması ilə daha çox tanınmağa başladı. Lakin termin "data wrangling" kimi daha çox 2000-ci illərdə populyarlaşdı. Bu dövrdə internet və rəqəmsal sistemlərdən toplanan məlumatların həcmi sürətlə artdığı üçün, xam məlumatların emalı daha böyük əhəmiyyət qazandı.

🔍 Prosesin Əsas Mərhələləri

1. Məlumatların toplanması (Data Collection)

• Fərqli mənbələrdən: CSV, Excel, SQL verilənlər bazası, API-lər, veb scraping, sensorlar və IoT cihazları.

1. Təmizləmə (Data Cleaning)

• Boş xanaların (missing values) aradan qaldırılması və ya doldurulması.
• Yanlış yazılmış dəyərlərin düzəldilməsi.
• Təkrarlanan məlumatların silinməsi.
• Uyğunsuz formatların düzəldilməsi (məsələn, tarix formatı, valyuta vahidləri).

1. Çevrilmə (Data Transformation)

• Məlumatların vahid standart formata gətirilməsi.
• Yeni sütunların yaradılması (feature engineering).
• Ölçü vahidlərinin çevrilməsi.

1. Birləşdirmə və İntegrasiya (Data Merging/Joining)

• Müxtəlif mənbələrdən gələn məlumatların vahid cədvəldə birləşdirilməsi.

1. Filtrləmə və Strukturlaşdırma

• Analiz üçün yalnız lazımi hissələrin seçilməsi.

🛠 İstifadə olunan əsas alətlər

• Python kitabxanaları: Pandas, NumPy, OpenRefine
• SQL sorğuları ilə verilənlər bazasında təmizləmə əməliyyatları
• Excel və Google Sheets kimi elektron cədvəl proqramları
• Böyük həcmli məlumatlar üçün: Apache Spark, Hadoop
• NoSQL bazalar üçün: MongoDB, Cassandra

⚙️ Üstünlükləri

1. Analiz dəqiqliyini artırır — Təmiz məlumat səhv nəticələrin qarşısını alır.
2. İş prosesini sürətləndirir — Hazır dataset üzərində işləmək daha effektivdir.
3. Müxtəlif formatların uyğunlaşdırılması — Bir çox fərqli mənbədən gələn məlumatlar eyni formata gətirilir.
4. Uzunmüddətli saxlanma üçün optimallaşdırma — Təmizlənmiş məlumat gələcək analizlər üçün arxivləşdirilə bilər.

📌 Real iş mühitində nümunə

• Bir e-ticarət şirkətinin müştəri sifarişləri barədə məlumatları fərqli mənbələrdən (veb sayt, mobil tətbiq, anbar sistemi) toplanır.
• Xam məlumatlarda boş xanalar, yanlış tarix formatları, təkrarlanan sifariş qeydləri mövcuddur.
• Data wrangling prosesində bu problemlər aradan qaldırılır, məlumatlar birləşdirilir və sonda analitik hesabatlar və satış proqnoz modelləri üçün istifadəyə hazır dataset yaradılır.

📜 Maraqlı fakt

• Data wrangling bəzən "data munging" adlanır.
• Data scientists-lərin 70%-ə yaxını öz vaxtının böyük hissəsini məhz bu mərhələyə sərf edir.
• Facebook, Google, Amazon kimi böyük texnologiya şirkətləri məlumat emalı üçün xüsusi Data Wrangling komandaları saxlayır.