Jet School Logo

F1 Score nədir?

F1 Score — maşın öyrənməsində və Data Science-də təsnifat modellərinin keyfiyyətini qiymətləndirmək üçün geniş istifadə olunan göstəricidir. O, iki başqa göstəricinin — precision (dəqiqlik) və recall (tamlıq) — harmonik ortası kimi hesablanır və 0 ilə 1 arasında dəyər alır.

F1 Score əsasən ikili təsnifatda (binary classification) istifadə olunur, yəni model hər nümunəni iki kateqoriyadan birinə aid edəndə: “spam” və ya “spam deyil”, “xəstə” və ya “sağlam”. Xüsusilə tarazsız dataset-lərdə — bir kateqoriyanın digərindən xeyli çox olduğu hallarda — vacibdir.

Qarışıqlıq matrisi: əsas anlayışlar

Modelin hər proqnozu dörd nəticədən biri ola bilər:

Model “müsbət” dediModel “mənfi” dediHəqiqətən müsbətdirTP — düzgün müsbətFN — buraxılmış müsbətHəqiqətən mənfidirFP — yalançı həyəcanTN — düzgün mənfi

  • TP (True Positive): Model “müsbət” deyib və həqiqətən də müsbətdir.
  • FP (False Positive): Model “müsbət” deyib, amma əslində mənfidir — “yalançı həyəcan”.
  • FN (False Negative): Model “mənfi” deyib, amma əslində müsbətdir — “buraxılmış hal”.
  • TN (True Negative): Model “mənfi” deyib və həqiqətən də mənfidir.

Bu cədvəl qarışıqlıq matrisi (confusion matrix) adlanır.

Precision və Recall

Precision (dəqiqlik): Modelin “müsbət” dediyi nümunələrin neçəsi həqiqətən müsbətdir?

Precision = TP / (TP + FP)

Recall (tamlıq, həssaslıq): Həqiqətən müsbət olan nümunələrin neçəsini model tapa bildi?

Recall = TP / (TP + FN)

F1 Score-un düsturu

F1 = 2 × (Precision × Recall) / (Precision + Recall)

Bu, harmonik ortadır. Adi (aritmetik) ortadan fərqli olaraq, harmonik orta iki göstəricidən biri aşağı olduqda nəticəni güclü şəkildə aşağı salır. Məsələn, precision 1,0, recall isə 0,1 olarsa, aritmetik orta 0,55 olardı, F1 isə cəmi təxminən 0,18 olur. Beləliklə, F1 yalnız hər iki göstərici yüksək olanda yüksək olur.

Vacib qeyd: F1 düsturunda TN iştirak etmir. Yəni F1 modelin “mənfi”ləri nə qədər yaxşı tanıdığını nəzərə almır — o, tamamilə müsbət kateqoriyaya fokuslanır.

F1 Score nəyi göstərir?

  • 1,0: İdeal nəticə — model bütün müsbətləri tapıb və heç bir yalançı həyəcan verməyib.
  • 0,0: Model heç bir müsbət nümunəni düzgün tapa bilməyib (TP = 0).
  • 0 ilə 1 arası: Dəyər 1-ə nə qədər yaxındırsa, model bir o qədər balanslı və effektivdir.

F1 Score niyə vacibdir?

1. Tarazsız məlumatlarda

Tutaq ki, məlumatların 95%-i “mənfi”, 5%-i isə “müsbət”dir. Hər şeyə “mənfi” deyən tamamilə faydasız model də 95% düzgünlük (accuracy) göstərəcək. Amma onun F1 dəyəri 0 olacaq, çünki o, heç bir müsbət halı tapmayıb. F1 belə “aldadıcı” modelləri ifşa edir.

2. Səhvlərin bahalı olduğu hallarda

Tibbi diaqnoz, fırıldaqçılığın aşkarlanması, fişinq məktublarının filtrlənməsi və təhlükəsizlik sistemləri kimi sahələrdə həm buraxılmış hallar, həm də yalançı həyəcanlar ciddi nəticələrə səbəb ola bilər.

Precision, yoxsa Recall?

Bəzən iki göstəricidən biri digərindən daha vacibdir:

  • Spam filtri: Burada precision vacibdir. Vacib məktubun səhvən spam qovluğuna düşməsi (FP) bir neçə spamın gələn qutuya düşməsindən daha pisdir.
  • Xəstəlik testi: Burada recall vacibdir. Xəstəliyi buraxmaq (FN) sağlam insanı əlavə müayinəyə göndərməkdən çox daha təhlükəlidir.

Belə hallarda F-beta score istifadə olunur: o, iki göstəricidən birinə daha çox çəki verməyə imkan verir. F1 isə ikisinə bərabər əhəmiyyət verir.

Müqayisə: F1 və Accuracy

GöstəriciNəyi ölçür?Nə vaxt uyğundur?Accuracy (düzgünlük)Bütün düzgün proqnozların ümumi faiziKateqoriyalar təxminən bərabər olduqdaF1 ScorePrecision və recall arasındakı balansKateqoriyalar tarazsız olduqda və ya həm FP, həm də FN vacib olduqda

Nümunə

Test məlumatında 100 nümunə var, onlardan 10-u müsbətdir. Model:

  • 6 müsbəti düzgün tapıb (TP = 6);
  • 2 mənfini səhvən “müsbət” adlandırıb (FP = 2);
  • 4 müsbəti buraxıb (FN = 4).

Hesablama:

  • Precision = 6 / (6 + 2) = 0,75
  • Recall = 6 / (6 + 4) = 0,60
  • F1 = 2 × (0,75 × 0,60) / (0,75 + 0,60) = 0,90 / 1,35 ≈ 0,67

Bu nəticə modelin orta səviyyədə işlədiyini və təkmilləşdirilməli olduğunu göstərir. Maraqlıdır ki, bu modelin accuracy dəyəri 94% olacaq — çox yaxşı görünür, amma F1 əsl vəziyyəti daha dürüst göstərir.

İkidən çox kateqoriya olduqda

Model ikidən çox kateqoriya ilə işləyəndə — məsələn, şəkildəki heyvanı pişik, it və ya quş kimi tanıyanda — F1 hər kateqoriya üçün ayrıca hesablanır, sonra ortalanır:

  • Macro F1: Bütün kateqoriyaların F1 dəyərlərinin sadə ortası — hər kateqoriya bərabər əhəmiyyət daşıyır.
  • Weighted F1: Hər kateqoriyanın F1-i onun nümunə sayına görə çəkilənir.
  • Micro F1: Bütün kateqoriyaların TP, FP və FN dəyərləri birlikdə toplanaraq hesablanır.

Praktikada F1 Score-u əl ilə hesablamağa ehtiyac yoxdur: Python-un scikit-learn kitabxanasında bunun üçün hazır f1_score funksiyası var.

Nəticə

F1 Score maşın öyrənməsi modellərini balanslı və ədalətli qiymətləndirməyə imkan verən vacib metrikdir. O, yalnız modelin neçə düzgün nəticə verdiyini deyil, həm də neçə vacib halı buraxdığını nəzərə alır. Xüsusilə tarazsız məlumatlarda və riskli sahələrdə — səhiyyə, təhlükəsizlik, maliyyə — F1 ən etibarlı göstəricilərdən biridir. Amma yadda saxlamaq lazımdır ki, heç bir göstərici tək başına bütün mənzərəni vermir. Ona görə F1 adətən qarışıqlıq matrisi və digər metriklərlə birlikdə təhlil olunur.

Övladınızın süni intellektin necə işlədiyini başa düşməyi və öz maşın öyrənməsi modellərini yaratmağı öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu

Tədris sahələrimiz barədə məlumat almaq üçün qeydiyyatdan keçin

IT Sahəsini öyrənməyə başla