
Импутация — это заполнение пропущенных значений в наборах данных в Data Science и статистике. В реальных данных часто встречаются пропуски: кто-то не ответил на вопрос анкеты, датчик какое-то время не работал, форма заполнена не полностью. Такие пропуски мешают анализу и построению моделей. Импутация заполняет их осмысленными значениями с помощью статистических методов или методов машинного обучения.
Проще говоря: импутация похожа на то, как мы «угадываем» недостающие кусочки пазла, глядя на соседние.
Пропущенные значения могут:
Поэтому перед анализом и обучением моделей данные очищают, а пропуски заполняют подходящим методом.
Чтобы выбрать правильный метод, сначала нужно понять причину пропусков. В статистике различают три типа:
В последнем случае простая импутация особенно опасна, ведь она систематически искажает результаты.
Самый простой путь — удалить строки с пропусками. Если пропусков мало и они случайны, это допустимо. Но часто это означает потерю значительной части ценных данных. Например, если в каждом из 20 столбцов всего по 5% пропусков, строк без единого пропуска может остаться значительно меньше.
1. Простые статистические методы
2. Импутация по группам. Среднее или медиана вычисляются не по всем данным, а внутри похожей группы. Например, если у ученика неизвестен рост, логичнее заполнить его средним ростом сверстников, а не всех учеников.
3. Заполнение во временных рядах. В данных, меняющихся во времени, — температура, цены — пропуск заполняется предыдущим значением (forward fill) или средней точкой между соседними значениями (интерполяция).
4. Импутация по ближайшим соседям (KNN). Алгоритм k-ближайших соседей находит самые похожие строки и заполняет пропуск на основе их значений.
5. Импутация с помощью машинного обучения. Столбец с пропусками рассматривается как целевой (target), а остальные столбцы — как признаки (features). Модель — например, линейная регрессия или дерево решений — предсказывает пропущенное значение.
6. Множественная импутация (MICE). Каждый пропуск заполняется несколько раз немного разными значениями, а результаты объединяются. Этот метод учитывает неопределённость импутации и широко применяется в научных исследованиях.
Перед заполнением пропуска полезно создать отдельный столбец: «Было ли значение пропущено? (1 — да, 0 — нет)». Иногда сам факт пропуска — важная информация, и модель может её использовать.
На практике для импутации используют готовые инструменты:
Среднее, медиану или модель для импутации нужно вычислять только на обучающей (train) части и затем применять к тестовой. Если вычислить среднее по всем данным, включая тестовую часть, модель скрыто «узнаёт» о тестовых данных, и результаты выглядят лучше, чем есть на самом деле. Эта ошибка называется утечкой данных (Data Leakage).
Импутация — неотъемлемая часть подготовки данных в Data Science. При правильном выборе метода она повышает качество модели и делает результаты анализа надёжнее. Выбор метода зависит от типа данных, количества пропусков, причин их появления и целей проекта.
Хотите, чтобы ваш ребёнок понял, как работает искусственный интеллект, и научился работать с реальными данными? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering