
F1 Score — maşın öyrənməsində və Data Science-də təsnifat modellərinin keyfiyyətini qiymətləndirmək üçün geniş istifadə olunan göstəricidir. O, iki başqa göstəricinin — precision (dəqiqlik) və recall (tamlıq) — harmonik ortası kimi hesablanır və 0 ilə 1 arasında dəyər alır.
F1 Score əsasən ikili təsnifatda (binary classification) istifadə olunur, yəni model hər nümunəni iki kateqoriyadan birinə aid edəndə: “spam” və ya “spam deyil”, “xəstə” və ya “sağlam”. Xüsusilə tarazsız dataset-lərdə — bir kateqoriyanın digərindən xeyli çox olduğu hallarda — vacibdir.
Modelin hər proqnozu dörd nəticədən biri ola bilər:
Model “müsbət” dediModel “mənfi” dediHəqiqətən müsbətdirTP — düzgün müsbətFN — buraxılmış müsbətHəqiqətən mənfidirFP — yalançı həyəcanTN — düzgün mənfi
Bu cədvəl qarışıqlıq matrisi (confusion matrix) adlanır.
Precision (dəqiqlik): Modelin “müsbət” dediyi nümunələrin neçəsi həqiqətən müsbətdir?
Precision = TP / (TP + FP)
Recall (tamlıq, həssaslıq): Həqiqətən müsbət olan nümunələrin neçəsini model tapa bildi?
Recall = TP / (TP + FN)
F1 = 2 × (Precision × Recall) / (Precision + Recall)
Bu, harmonik ortadır. Adi (aritmetik) ortadan fərqli olaraq, harmonik orta iki göstəricidən biri aşağı olduqda nəticəni güclü şəkildə aşağı salır. Məsələn, precision 1,0, recall isə 0,1 olarsa, aritmetik orta 0,55 olardı, F1 isə cəmi təxminən 0,18 olur. Beləliklə, F1 yalnız hər iki göstərici yüksək olanda yüksək olur.
Vacib qeyd: F1 düsturunda TN iştirak etmir. Yəni F1 modelin “mənfi”ləri nə qədər yaxşı tanıdığını nəzərə almır — o, tamamilə müsbət kateqoriyaya fokuslanır.
1. Tarazsız məlumatlarda
Tutaq ki, məlumatların 95%-i “mənfi”, 5%-i isə “müsbət”dir. Hər şeyə “mənfi” deyən tamamilə faydasız model də 95% düzgünlük (accuracy) göstərəcək. Amma onun F1 dəyəri 0 olacaq, çünki o, heç bir müsbət halı tapmayıb. F1 belə “aldadıcı” modelləri ifşa edir.
2. Səhvlərin bahalı olduğu hallarda
Tibbi diaqnoz, fırıldaqçılığın aşkarlanması, fişinq məktublarının filtrlənməsi və təhlükəsizlik sistemləri kimi sahələrdə həm buraxılmış hallar, həm də yalançı həyəcanlar ciddi nəticələrə səbəb ola bilər.
Bəzən iki göstəricidən biri digərindən daha vacibdir:
Belə hallarda F-beta score istifadə olunur: o, iki göstəricidən birinə daha çox çəki verməyə imkan verir. F1 isə ikisinə bərabər əhəmiyyət verir.
GöstəriciNəyi ölçür?Nə vaxt uyğundur?Accuracy (düzgünlük)Bütün düzgün proqnozların ümumi faiziKateqoriyalar təxminən bərabər olduqdaF1 ScorePrecision və recall arasındakı balansKateqoriyalar tarazsız olduqda və ya həm FP, həm də FN vacib olduqda
Test məlumatında 100 nümunə var, onlardan 10-u müsbətdir. Model:
Hesablama:
Bu nəticə modelin orta səviyyədə işlədiyini və təkmilləşdirilməli olduğunu göstərir. Maraqlıdır ki, bu modelin accuracy dəyəri 94% olacaq — çox yaxşı görünür, amma F1 əsl vəziyyəti daha dürüst göstərir.
Model ikidən çox kateqoriya ilə işləyəndə — məsələn, şəkildəki heyvanı pişik, it və ya quş kimi tanıyanda — F1 hər kateqoriya üçün ayrıca hesablanır, sonra ortalanır:
Praktikada F1 Score-u əl ilə hesablamağa ehtiyac yoxdur: Python-un scikit-learn kitabxanasında bunun üçün hazır f1_score funksiyası var.
F1 Score maşın öyrənməsi modellərini balanslı və ədalətli qiymətləndirməyə imkan verən vacib metrikdir. O, yalnız modelin neçə düzgün nəticə verdiyini deyil, həm də neçə vacib halı buraxdığını nəzərə alır. Xüsusilə tarazsız məlumatlarda və riskli sahələrdə — səhiyyə, təhlükəsizlik, maliyyə — F1 ən etibarlı göstəricilərdən biridir. Amma yadda saxlamaq lazımdır ki, heç bir göstərici tək başına bütün mənzərəni vermir. Ona görə F1 adətən qarışıqlıq matrisi və digər metriklərlə birlikdə təhlil olunur.
Övladınızın süni intellektin necə işlədiyini başa düşməyi və öz maşın öyrənməsi modellərini yaratmağı öyrənməsini istəyirsiniz? Süni İntellekt Mühəndisliyi kursumuzla addım-addım öyrənməyə başlayın. Ətraflı məlumat üçün linkə keçid edin: Süni İntellekt Mühəndisliyi kursu