Jet School Logo

Что такое Набор данных?

Набор данных (Dataset) — это организованная совокупность данных, которая используется для анализа, построения моделей и других задач, связанных с обработкой информации. Обычно набор данных представлен в виде таблицы: строки обозначают отдельные наблюдения (экземпляры), а столбцы — их характеристики (атрибуты). Каждая строка соответствует одному объекту или событию, а каждый столбец содержит определённую информацию об этом объекте.

Пример

Небольшой набор данных о результатах экзамена может выглядеть так:

УченикПосещаемость (%)Домашние задания (%)Подготовка в неделю (ч)Сдал экзамен?Айсель95906ДаМурад70502НетНармин88855Да

Здесь каждая строка — один ученик. Первые четыре столбца — характеристики, которые будет использовать модель; в машинном обучении их называют признаками (features). Последний столбец («Сдал экзамен?») — целевая переменная (target), которую модель должна предсказать.

Основные характеристики набора данных

  • Структурированная информация: dataset чаще всего представлен в виде таблицы, что облегчает его анализ и обработку. Помимо табличных, существуют также наборы изображений, аудио и текстов.
  • Разнообразие источников: наборы данных формируются из разных источников — опросов, датчиков, веб-сайтов, приложений и др.
  • Разнообразие форматов: dataset может храниться в файлах CSV, Excel, JSON или в базах данных SQL.
  • Размер: наборы данных бывают как небольшими (несколько десятков строк), так и очень большими (миллионы строк и сотни столбцов). Для огромных объёмов данных используется понятие Big Data.

Размеченные и неразмеченные наборы данных

  • Размеченный (labeled) dataset: для каждого примера известен правильный ответ. Например, к каждому изображению подписано «кошка» или «собака». Модель учится, видя правильные ответы.
  • Неразмеченный (unlabeled) dataset: правильных ответов нет. Модель должна сама найти в данных сходства и группы. Например, сгруппировать клиентов с похожими покупательскими привычками.

Размеченные наборы данных очень ценны, но их подготовка требует много времени: иногда приходится вручную подписывать миллионы изображений.

Разделение на train, validation и test

В машинном обучении набор данных обычно делят на три части:

  1. Обучающая выборка (training set) — примерно 70–80%. На этих данных модель учится.
  2. Валидационная выборка (validation set) — используется для настройки параметров модели.
  3. Тестовая выборка (test set) — оставляется для финальной проверки. Во время обучения модель ни в коем случае не должна её видеть.

Если тестовые данные случайно попадут в обучение, модель будет выглядеть лучше, чем на самом деле. Такая ошибка называется утечкой данных (data leakage).

Этапы работы с набором данных

  1. Сбор данных (Data Collection): получение информации из различных источников.
  2. Очистка данных (Data Cleaning): удаление пропущенных, некорректных, противоречивых и дублирующихся записей.
  3. Преобразование данных (Data Transformation): форматирование и подготовка данных к использованию.
  4. Анализ и моделирование: извлечение знаний и построение прогнозных моделей.
  5. Визуализация: представление результатов в виде графиков и диаграмм.

В Python прочитать табличный набор данных очень просто:

python

import pandas as pd

df = pd.read_csv("ucheniki.csv") # прочитать набор данных

print(df.head()) # показать первые 5 строк

print(df.shape) # количество строк и столбцов

Известные наборы данных и где их найти

Для начинающих существуют бесплатные и известные наборы данных:

  • Iris — размеры цветков трёх видов ириса. Самый классический «первый dataset» в машинном обучении.
  • Titanic — данные о пассажирах «Титаника». Используется, чтобы предсказать, кто выжил.
  • MNIST — 70 000 изображений рукописных цифр. Идеален для первого шага в распознавании изображений.
  • ImageNet — миллионы размеченных изображений. Сыграл решающую роль в развитии современных моделей CNN.

Наборы данных можно бесплатно скачать на таких сайтах, как Kaggle, UCI Machine Learning Repository, а также на государственных порталах открытых данных.

Почему важно качество?

В Data Science есть известный принцип: «Мусор на входе — мусор на выходе» (Garbage in, garbage out). Даже самая мощная модель не даст хороших результатов на плохом наборе данных. Если в данных есть ошибки, пропуски или предвзятость (bias) — например, система распознавания лиц обучалась на фотографиях только одной группы людей, — модель повторит эти недостатки.

Вывод

Наборы данных — основа Data Science и искусственного интеллекта. Без качественного dataset невозможно построить надёжную модель или сделать обоснованные выводы. Поэтому любой проект в машинном обучении начинается именно с выбора и подготовки хорошего набора данных.

Хотите, чтобы ваш ребёнок научился работать с реальными наборами данных и строить собственные модели машинного обучения? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering

Заполните форму чтобы узнать больше о наших IT курсах

Связанные термины:

Начни изучать IT уже сегодня