Jet School Logo

Что такое Data Leakage?

Data Leakage (утечка данных) — это ситуация в машинном обучении, при которой в обучающие данные случайно попадает информация, которой у модели не будет при реальном использовании. В результате модель показывает искусственно завышенные результаты на тестировании, а при реальном применении проваливается.

Проще говоря: это похоже на ученика, который заранее увидел ответы к контрольной. Он получает высокую оценку, но тему на самом деле не знает — и теряется, когда ему задают новый вопрос.

Примечание: в кибербезопасности выражение «data leakage» имеет и другое значение — несанкционированная утечка конфиденциальных данных компании или пользователей. Такие утёкшие данные часто выставляются на продажу в даркнете (Dark Web). Эта же страница посвящена значению термина в машинном обучении.

Почему это опасно?

При утечке данных модель во время обучения сталкивается с тестовыми данными или информацией, напрямую связанной с правильным ответом. В результате:

  • на тестовых данных результаты нереалистично высокие (например, 99% точности);
  • на новых, реальных данных модель работает плохо.

Самое опасное — проблема часто обнаруживается только после того, как модель уже запущена в реальную работу.

Утечку данных не следует путать с переобучением (overfitting):

  • при переобучении модель «зазубривает» обучающие данные, и это видно на тесте: результат на тесте заметно ниже, чем на обучении;
  • при утечке данных высокий результат показывает и тест, потому что модель во время теста «знает ответ». Поэтому утечку обнаружить сложнее.

Пример

Представим, что вы строите модель, которая предсказывает, болен ли пациент раком. В наборе данных есть столбец:

«Проходил ли пациент операцию?»

Эта информация появляется после постановки диагноза: операцию обычно делают именно после того, как болезнь обнаружена. Если включить этот столбец в обучение, модель просто выучит правило «если была операция — значит, болен» и покажет очень высокую точность на тесте. Но в реальности для нового пациента без диагноза этой информации ещё нет — и модель окажется бесполезной.

Как возникает утечка данных?

1. Смешивание обучающей и тестовой выборок

Например, данные одного и того же человека попадают и в train, и в test, или в данных есть повторяющиеся строки.

2. Информация из будущего (target leakage)

Модели передаются признаки, которые станут известны только после наступления результата. Например, при прогнозировании, вернёт ли заёмщик кредит, использовать столбец «платил ли заёмщик штраф за просрочку».

3. Случайное разбиение временных рядов

В задачах прогнозной аналитики — продажи, погода, биржевые котировки — случайное разбиение данных позволяет модели «заглядывать в будущее, чтобы предсказать прошлое». Такие данные всегда нужно делить по времени: обучать на прошлом, проверять на будущем.

4. Утечка при предобработке

Статистики вроде среднего значения и стандартного отклонения вычисляются по всему набору данных, а уже потом данные делятся на train и test. Так информация о тестовых данных «просачивается» в обучение.

Как избежать утечки данных?

  • Делите данные на train и test в самом начале. Не используйте тестовые данные ни на одном этапе до финальной оценки модели.
  • Проверяйте каждый признак. Задайте себе вопрос: «Будет ли у меня эта информация в момент, когда нужно делать прогноз?»
  • Обучайте предобработку только на train-данных, а затем применяйте те же параметры к тестовым данным.
  • Не доверяйте подозрительно высоким результатам. Если модель работает заметно лучше ожидаемого, в первую очередь ищите утечку.
  • Привлекайте экспертов предметной области. Например, врач или банкир лучше программиста знает, когда появляется та или иная информация.

Неправильный и правильный подход в Python с библиотекой scikit-learn:

python

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

# ❌ Неправильно: масштабирование обучается на всех данных

X_scaled = StandardScaler().fit_transform(X)

X_train, X_test, y_train, y_test = train_test_split(X_scaled, y)

# ✅ Правильно: сначала разбиение, затем масштабирование обучается только на train

X_train, X_test, y_train, y_test = train_test_split(X, y)

scaler = StandardScaler().fit(X_train)

X_train = scaler.transform(X_train)

X_test = scaler.transform(X_test)

Вывод

Data Leakage — одна из самых серьёзных и коварных ошибок в машинном обучении. Если её вовремя не обнаружить, она может сделать модель полностью непригодной в реальных условиях. Поэтому особое внимание нужно уделять разделению данных, выбору признаков и особенно предобработке. Правило «если результат слишком хорош — проверь» — один из признаков профессионального подхода в проектах по искусственному интеллекту.

Хотите, чтобы ваш ребёнок научился создавать настоящие проекты в машинном обучении и правильно их оценивать? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering

Заполните форму чтобы узнать больше о наших IT курсах

Начни изучать IT уже сегодня