
Набор данных (Dataset) — это организованная совокупность данных, которая используется для анализа, построения моделей и других задач, связанных с обработкой информации. Обычно набор данных представлен в виде таблицы: строки обозначают отдельные наблюдения (экземпляры), а столбцы — их характеристики (атрибуты). Каждая строка соответствует одному объекту или событию, а каждый столбец содержит определённую информацию об этом объекте.
Небольшой набор данных о результатах экзамена может выглядеть так:
УченикПосещаемость (%)Домашние задания (%)Подготовка в неделю (ч)Сдал экзамен?Айсель95906ДаМурад70502НетНармин88855Да
Здесь каждая строка — один ученик. Первые четыре столбца — характеристики, которые будет использовать модель; в машинном обучении их называют признаками (features). Последний столбец («Сдал экзамен?») — целевая переменная (target), которую модель должна предсказать.
Размеченные наборы данных очень ценны, но их подготовка требует много времени: иногда приходится вручную подписывать миллионы изображений.
В машинном обучении набор данных обычно делят на три части:
Если тестовые данные случайно попадут в обучение, модель будет выглядеть лучше, чем на самом деле. Такая ошибка называется утечкой данных (data leakage).
В Python прочитать табличный набор данных очень просто:
python
import pandas as pd
df = pd.read_csv("ucheniki.csv") # прочитать набор данных
print(df.head()) # показать первые 5 строк
print(df.shape) # количество строк и столбцов
Для начинающих существуют бесплатные и известные наборы данных:
Наборы данных можно бесплатно скачать на таких сайтах, как Kaggle, UCI Machine Learning Repository, а также на государственных порталах открытых данных.
В Data Science есть известный принцип: «Мусор на входе — мусор на выходе» (Garbage in, garbage out). Даже самая мощная модель не даст хороших результатов на плохом наборе данных. Если в данных есть ошибки, пропуски или предвзятость (bias) — например, система распознавания лиц обучалась на фотографиях только одной группы людей, — модель повторит эти недостатки.
Наборы данных — основа Data Science и искусственного интеллекта. Без качественного dataset невозможно построить надёжную модель или сделать обоснованные выводы. Поэтому любой проект в машинном обучении начинается именно с выбора и подготовки хорошего набора данных.
Хотите, чтобы ваш ребёнок научился работать с реальными наборами данных и строить собственные модели машинного обучения? Начните обучение на нашем курсе AI Engineering. Подробнее о курсе — перейдите по ссылке: Курс AI Engineering