Что такое Импутация?
Импутация — это заполнение пропущенных значений в наборах данных в Data Science и статистике. В реальных данных часто встречаются пропуски: кто-то не ответил на вопрос анкеты, датчик какое-то время не работал, форма заполнена не полностью. Такие пропуски мешают анализу и построению моделей. Импутация заполняет их осмысленными значениями с помощью статистических методов или методов машинного обучения.
Проще говоря: импутация похожа на то, как мы «угадываем» недостающие кусочки пазла, глядя на соседние.
Зачем нужна импутация?
Пропущенные значения могут:
- снижать точность модели;
- искажать статистические выводы;
- делать невозможной работу модели — многие алгоритмы не умеют работать с пустыми значениями (NaN — Not a Number).
Поэтому перед анализом и обучением моделей данные очищают, а пропуски заполняют подходящим методом.
Сначала вопрос: почему значения пропущены?
Чтобы выбрать правильный метод, сначала нужно понять причину пропусков. В статистике различают три типа:
- Полностью случайные пропуски (MCAR): у пропусков нет никакой причины — например, анкета просто потерялась.
- Случайные пропуски (MAR): пропуски зависят от других известных факторов — например, пожилые люди реже отвечают на некоторые вопросы онлайн-опроса.
- Неслучайные пропуски (MNAR): пропуск связан с самим значением — например, люди с очень высоким доходом не хотят его указывать.
В последнем случае простая импутация особенно опасна, ведь она систематически искажает результаты.
Альтернатива: удаление
Самый простой путь — удалить строки с пропусками. Если пропусков мало и они случайны, это допустимо. Но часто это означает потерю значительной части ценных данных. Например, если в каждом из 20 столбцов всего по 5% пропусков, строк без единого пропуска может остаться значительно меньше.
Основные методы импутации
1. Простые статистические методы
- Среднее (mean): пропуск заполняется средним значением столбца. Самый простой и распространённый метод.
- Медиана: если данные асимметричны или есть выбросы — слишком большие или маленькие значения, — медиана надёжнее. Например, в данных о зарплатах несколько миллионеров искусственно завышают среднее, а медиану почти не меняют.
- Мода: в категориальных данных — например, город или цвет — пропуск заполняется самым частым значением.
2. Импутация по группам. Среднее или медиана вычисляются не по всем данным, а внутри похожей группы. Например, если у ученика неизвестен рост, логичнее заполнить его средним ростом сверстников, а не всех учеников.
3. Заполнение во временных рядах. В данных, меняющихся во времени, — температура, цены — пропуск заполняется предыдущим значением (forward fill) или средней точкой между соседними значениями (интерполяция).
4. Импутация по ближайшим соседям (KNN). Алгоритм k-ближайших соседей находит самые похожие строки и заполняет пропуск на основе их значений.
5. Импутация с помощью машинного обучения. Столбец с пропусками рассматривается как целевой (target), а остальные столбцы — как признаки (features). Модель — например, линейная регрессия или дерево решений — предсказывает пропущенное значение.
6. Множественная импутация (MICE). Каждый пропуск заполняется несколько раз немного разными значениями, а результаты объединяются. Этот метод учитывает неопределённость импутации и широко применяется в научных исследованиях.
Полезное дополнение: «индикатор пропуска»
Перед заполнением пропуска полезно создать отдельный столбец: «Было ли значение пропущено? (1 — да, 0 — нет)». Иногда сам факт пропуска — важная информация, и модель может её использовать.
Импутация в Python
На практике для импутации используют готовые инструменты:
- библиотека pandas — метод fillna() для заполнения пропусков по простым правилам;
- библиотека scikit-learn — SimpleImputer (среднее, медиана, мода), KNNImputer (ближайшие соседи) и IterativeImputer (заполнение с помощью модели).
⚠️ Самая частая ошибка: утечка данных
Среднее, медиану или модель для импутации нужно вычислять только на обучающей (train) части и затем применять к тестовой. Если вычислить среднее по всем данным, включая тестовую часть, модель скрыто «узнаёт» о тестовых данных, и результаты выглядят лучше, чем есть на самом деле. Эта ошибка называется утечкой данных (Data Leakage).
Преимущества
- Более стабильные модели: после заполнения пропусков модель может работать со всеми данными.
- Нет потери данных: вместо удаления строк с пропусками их можно сохранить.
- Полный набор данных для анализа.
Риски
- Неправильно выбранный метод может исказить результаты анализа.
- Искусственно добавленные значения не полностью отражают реальность.
- Заполнение средним искусственно уменьшает разброс данных и ослабляет связи между столбцами.
- Если пропусков много — например, половина столбца, — простая импутация может ухудшить модель. В таких случаях правильнее вообще исключить столбец.
Заключение
Импутация — неотъемлемая часть подготовки данных в Data Science. При правильном выборе метода она повышает качество модели и делает результаты анализа надёжнее. Выбор метода зависит от типа данных, количества пропусков, причин их появления и целей проекта.
Хотите, чтобы ваш ребёнок понял, как работает искусственный интеллект, и научился работать с реальными данными? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering

