
F1 Score — это широко используемый показатель для оценки качества моделей классификации в машинном обучении и Data Science. Он вычисляется как гармоническое среднее двух других показателей — precision (точность) и recall (полнота) — и принимает значения от 0 до 1.
F1 Score в основном применяется в бинарной классификации (binary classification), когда модель относит каждый пример к одной из двух категорий: «спам» или «не спам», «болен» или «здоров». Он особенно важен на несбалансированных наборах данных, где одна категория встречается значительно чаще другой.
Каждый прогноз модели может быть одним из четырёх исходов:
Модель сказала «положительный»Модель сказала «отрицательный»На самом деле положительныйTP — верно положительныйFN — пропущенный положительныйНа самом деле отрицательныйFP — ложная тревогаTN — верно отрицательный
Эта таблица называется матрицей ошибок (confusion matrix).
Precision (точность): какая доля примеров, которые модель назвала «положительными», действительно положительные?
Precision = TP / (TP + FP)
Recall (полнота, чувствительность): какую долю реально положительных примеров модель смогла найти?
Recall = TP / (TP + FN)
F1 = 2 × (Precision × Recall) / (Precision + Recall)
Это гармоническое среднее. В отличие от обычного (арифметического) среднего, оно сильно снижает результат, если один из двух показателей низкий. Например, при precision 1,0 и recall 0,1 арифметическое среднее было бы 0,55, а F1 — всего около 0,18. Таким образом, F1 высок, только когда высоки оба показателя.
Важно: в формуле F1 не участвует TN. То есть F1 не учитывает, насколько хорошо модель распознаёт «отрицательные» примеры, — он полностью сосредоточен на положительной категории.
1. Несбалансированные данные
Допустим, 95% данных — «отрицательные», а 5% — «положительные». Совершенно бесполезная модель, которая на всё отвечает «отрицательный», покажет 95% доли правильных ответов (accuracy). Но её F1 будет равен 0, ведь она не нашла ни одного положительного случая. F1 разоблачает такие «обманчивые» модели.
2. Ошибки с высокой ценой
В медицинской диагностике, выявлении мошенничества, фильтрации фишинговых писем и системах безопасности серьёзные последствия могут иметь как пропуски, так и ложные тревоги.
Иногда один из показателей важнее другого:
В таких случаях используют F-beta score: он позволяет придать одному из показателей больший вес. А F1 придаёт им равное значение.
ПоказательЧто измеряет?Когда уместен?Accuracy (доля правильных ответов)Общая доля верных прогнозовКогда категории примерно равныF1 ScoreБаланс между precision и recallКогда категории несбалансированы или важны и FP, и FN
В тестовых данных 100 примеров, из них 10 положительных. Модель:
Расчёт:
Результат показывает, что модель работает на среднем уровне и требует улучшения. Интересно, что accuracy этой модели составит 94% — выглядит отлично, но F1 честнее показывает реальное положение дел.
Когда модель работает с несколькими категориями — например, определяет, кто на фото: кошка, собака или птица, — F1 вычисляется для каждой категории отдельно, а затем усредняется:
На практике считать F1 вручную не нужно: в библиотеке scikit-learn для Python есть готовая функция f1_score.
F1 Score — важная и надёжная метрика, позволяющая сбалансированно и честно оценивать модели машинного обучения. Она учитывает не только количество верных результатов, но и то, сколько важных случаев модель пропустила. Особенно при несбалансированных данных и в областях с высоким риском — здравоохранении, безопасности, финансах — F1 является одним из самых надёжных показателей. Но стоит помнить: ни одна метрика сама по себе не даёт полной картины, поэтому F1 обычно анализируют вместе с матрицей ошибок и другими метриками.
Хотите, чтобы ваш ребёнок понял, как работает искусственный интеллект, и научился создавать собственные модели машинного обучения? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering