Jet School Logo

Что такое Импутация?

Импутация — это заполнение пропущенных значений в наборах данных в Data Science и статистике. В реальных данных часто встречаются пропуски: кто-то не ответил на вопрос анкеты, датчик какое-то время не работал, форма заполнена не полностью. Такие пропуски мешают анализу и построению моделей. Импутация заполняет их осмысленными значениями с помощью статистических методов или методов машинного обучения.

Проще говоря: импутация похожа на то, как мы «угадываем» недостающие кусочки пазла, глядя на соседние.

Зачем нужна импутация?

Пропущенные значения могут:

  • снижать точность модели;
  • искажать статистические выводы;
  • делать невозможной работу модели — многие алгоритмы не умеют работать с пустыми значениями (NaN — Not a Number).

Поэтому перед анализом и обучением моделей данные очищают, а пропуски заполняют подходящим методом.

Сначала вопрос: почему значения пропущены?

Чтобы выбрать правильный метод, сначала нужно понять причину пропусков. В статистике различают три типа:

  • Полностью случайные пропуски (MCAR): у пропусков нет никакой причины — например, анкета просто потерялась.
  • Случайные пропуски (MAR): пропуски зависят от других известных факторов — например, пожилые люди реже отвечают на некоторые вопросы онлайн-опроса.
  • Неслучайные пропуски (MNAR): пропуск связан с самим значением — например, люди с очень высоким доходом не хотят его указывать.

В последнем случае простая импутация особенно опасна, ведь она систематически искажает результаты.

Альтернатива: удаление

Самый простой путь — удалить строки с пропусками. Если пропусков мало и они случайны, это допустимо. Но часто это означает потерю значительной части ценных данных. Например, если в каждом из 20 столбцов всего по 5% пропусков, строк без единого пропуска может остаться значительно меньше.

Основные методы импутации

1. Простые статистические методы

  • Среднее (mean): пропуск заполняется средним значением столбца. Самый простой и распространённый метод.
  • Медиана: если данные асимметричны или есть выбросы — слишком большие или маленькие значения, — медиана надёжнее. Например, в данных о зарплатах несколько миллионеров искусственно завышают среднее, а медиану почти не меняют.
  • Мода: в категориальных данных — например, город или цвет — пропуск заполняется самым частым значением.

2. Импутация по группам. Среднее или медиана вычисляются не по всем данным, а внутри похожей группы. Например, если у ученика неизвестен рост, логичнее заполнить его средним ростом сверстников, а не всех учеников.

3. Заполнение во временных рядах. В данных, меняющихся во времени, — температура, цены — пропуск заполняется предыдущим значением (forward fill) или средней точкой между соседними значениями (интерполяция).

4. Импутация по ближайшим соседям (KNN). Алгоритм k-ближайших соседей находит самые похожие строки и заполняет пропуск на основе их значений.

5. Импутация с помощью машинного обучения. Столбец с пропусками рассматривается как целевой (target), а остальные столбцы — как признаки (features). Модель — например, линейная регрессия или дерево решений — предсказывает пропущенное значение.

6. Множественная импутация (MICE). Каждый пропуск заполняется несколько раз немного разными значениями, а результаты объединяются. Этот метод учитывает неопределённость импутации и широко применяется в научных исследованиях.

Полезное дополнение: «индикатор пропуска»

Перед заполнением пропуска полезно создать отдельный столбец: «Было ли значение пропущено? (1 — да, 0 — нет)». Иногда сам факт пропуска — важная информация, и модель может её использовать.

Импутация в Python

На практике для импутации используют готовые инструменты:

  • библиотека pandas — метод fillna() для заполнения пропусков по простым правилам;
  • библиотека scikit-learn — SimpleImputer (среднее, медиана, мода), KNNImputer (ближайшие соседи) и IterativeImputer (заполнение с помощью модели).

⚠️ Самая частая ошибка: утечка данных

Среднее, медиану или модель для импутации нужно вычислять только на обучающей (train) части и затем применять к тестовой. Если вычислить среднее по всем данным, включая тестовую часть, модель скрыто «узнаёт» о тестовых данных, и результаты выглядят лучше, чем есть на самом деле. Эта ошибка называется утечкой данных (Data Leakage).

Преимущества

  • Более стабильные модели: после заполнения пропусков модель может работать со всеми данными.
  • Нет потери данных: вместо удаления строк с пропусками их можно сохранить.
  • Полный набор данных для анализа.

Риски

  • Неправильно выбранный метод может исказить результаты анализа.
  • Искусственно добавленные значения не полностью отражают реальность.
  • Заполнение средним искусственно уменьшает разброс данных и ослабляет связи между столбцами.
  • Если пропусков много — например, половина столбца, — простая импутация может ухудшить модель. В таких случаях правильнее вообще исключить столбец.

Заключение

Импутация — неотъемлемая часть подготовки данных в Data Science. При правильном выборе метода она повышает качество модели и делает результаты анализа надёжнее. Выбор метода зависит от типа данных, количества пропусков, причин их появления и целей проекта.

Хотите, чтобы ваш ребёнок понял, как работает искусственный интеллект, и научился работать с реальными данными? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering

Заполните форму чтобы узнать больше о наших IT курсах

Начни изучать IT уже сегодня