Что такое Набор данных?
Набор данных (Dataset) — это организованная совокупность данных, которая используется для анализа, построения моделей и других задач, связанных с обработкой информации. Обычно набор данных представлен в виде таблицы: строки обозначают отдельные наблюдения (экземпляры), а столбцы — их характеристики (атрибуты). Каждая строка соответствует одному объекту или событию, а каждый столбец содержит определённую информацию об этом объекте.
Пример
Небольшой набор данных о результатах экзамена может выглядеть так:
УченикПосещаемость (%)Домашние задания (%)Подготовка в неделю (ч)Сдал экзамен?Айсель95906ДаМурад70502НетНармин88855Да
Здесь каждая строка — один ученик. Первые четыре столбца — характеристики, которые будет использовать модель; в машинном обучении их называют признаками (features). Последний столбец («Сдал экзамен?») — целевая переменная (target), которую модель должна предсказать.
Основные характеристики набора данных
- Структурированная информация: dataset чаще всего представлен в виде таблицы, что облегчает его анализ и обработку. Помимо табличных, существуют также наборы изображений, аудио и текстов.
- Разнообразие источников: наборы данных формируются из разных источников — опросов, датчиков, веб-сайтов, приложений и др.
- Разнообразие форматов: dataset может храниться в файлах CSV, Excel, JSON или в базах данных SQL.
- Размер: наборы данных бывают как небольшими (несколько десятков строк), так и очень большими (миллионы строк и сотни столбцов). Для огромных объёмов данных используется понятие Big Data.
Размеченные и неразмеченные наборы данных
- Размеченный (labeled) dataset: для каждого примера известен правильный ответ. Например, к каждому изображению подписано «кошка» или «собака». Модель учится, видя правильные ответы.
- Неразмеченный (unlabeled) dataset: правильных ответов нет. Модель должна сама найти в данных сходства и группы. Например, сгруппировать клиентов с похожими покупательскими привычками.
Размеченные наборы данных очень ценны, но их подготовка требует много времени: иногда приходится вручную подписывать миллионы изображений.
Разделение на train, validation и test
В машинном обучении набор данных обычно делят на три части:
- Обучающая выборка (training set) — примерно 70–80%. На этих данных модель учится.
- Валидационная выборка (validation set) — используется для настройки параметров модели.
- Тестовая выборка (test set) — оставляется для финальной проверки. Во время обучения модель ни в коем случае не должна её видеть.
Если тестовые данные случайно попадут в обучение, модель будет выглядеть лучше, чем на самом деле. Такая ошибка называется утечкой данных (data leakage).
Этапы работы с набором данных
- Сбор данных (Data Collection): получение информации из различных источников.
- Очистка данных (Data Cleaning): удаление пропущенных, некорректных, противоречивых и дублирующихся записей.
- Преобразование данных (Data Transformation): форматирование и подготовка данных к использованию.
- Анализ и моделирование: извлечение знаний и построение прогнозных моделей.
- Визуализация: представление результатов в виде графиков и диаграмм.
В Python прочитать табличный набор данных очень просто:
python
import pandas as pd
df = pd.read_csv("ucheniki.csv") # прочитать набор данных
print(df.head()) # показать первые 5 строк
print(df.shape) # количество строк и столбцов
Известные наборы данных и где их найти
Для начинающих существуют бесплатные и известные наборы данных:
- Iris — размеры цветков трёх видов ириса. Самый классический «первый dataset» в машинном обучении.
- Titanic — данные о пассажирах «Титаника». Используется, чтобы предсказать, кто выжил.
- MNIST — 70 000 изображений рукописных цифр. Идеален для первого шага в распознавании изображений.
- ImageNet — миллионы размеченных изображений. Сыграл решающую роль в развитии современных моделей CNN.
Наборы данных можно бесплатно скачать на таких сайтах, как Kaggle, UCI Machine Learning Repository, а также на государственных порталах открытых данных.
Почему важно качество?
В Data Science есть известный принцип: «Мусор на входе — мусор на выходе» (Garbage in, garbage out). Даже самая мощная модель не даст хороших результатов на плохом наборе данных. Если в данных есть ошибки, пропуски или предвзятость (bias) — например, система распознавания лиц обучалась на фотографиях только одной группы людей, — модель повторит эти недостатки.
Вывод
Наборы данных — основа Data Science и искусственного интеллекта. Без качественного dataset невозможно построить надёжную модель или сделать обоснованные выводы. Поэтому любой проект в машинном обучении начинается именно с выбора и подготовки хорошего набора данных.
Хотите, чтобы ваш ребёнок научился работать с реальными наборами данных и строить собственные модели машинного обучения? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering

