Как проверить качество датасета до обучения

Большой датасет не значит хороший. Модель честно учится на том, что ей дали: на повторах, на перепутанных метках и на ответе, который случайно попал в признаки. Потом отчёт показывает высокую точность, а на новых письмах, звонках или снимках система сыпется.

Проверка до обучения дешевле, чем неделя на видеокарте и спор, почему «нейросеть не работает». Ниже — практический порядок. Он не заменяет статью как обучить нейросеть на своих данных: там про сам цикл обучения. Здесь только про то, можно ли этому набору вообще доверять.

Если коротко не помните, из чего набор состоит, начните с текста что такое датасет.

Сначала вопрос, потом таблица

До подсчёта строк запишите задачу одним предложением: что модель должна отвечать и на каких данных она это увидит в бою. «Классифицировать обращение клиента в один из восьми типов по тексту письма» — годная формулировка. «Сделать ИИ для поддержки» — нет.

Дальше сверьте набор с этой фразой.

Пять из шести пунктов смотрятся в таблице или папке за час. Шестой — юридический — лучше не откладывать на «после эксперимента».

Дубли портят и обучение, и отчёт

Повтор — это не «ещё один пример». Если одно и то же фото кошки лежит в обучающей и тестовой выборке, модель не узнаёт кошек. Она узнаёт этот файл. На отчёте это выглядит как успех.

Для таблиц сравнивайте строки целиком и почти целиком: отличие в одном пробеле или в идентификаторе не делает запись новой. Для текстов нормализуйте регистр и пробелы, затем ищите точные совпадения и очень близкие. Для изображений совпадают не только имена файлов: один кадр часто сохранён в двух размерах.

Удаляйте дубли до того, как делите данные на обучающую, валидационную и тестовую выборки. Иначе копия уже разъедется по разным кучкам, и чистка «внутри train» её не поймает.

Утечка: когда тест подглядывает в ответ

Утечка данных — это информация, которой в реальной работе не будет, а в обучении она есть. Из-за неё метрика врёт вверх.

Три бытовых случая:

1. В таблице продаж есть столбец «скидка, которую уже согласовали после сделки», а модель должна предсказывать цену заранее. Столбец надо убрать.
2. У одного клиента десять обращений. Половину положили в обучение, половину в тест. Модель выучила стиль клиента, а не тип проблемы. Делить нужно по клиенту, не по строке.
3. В имени файла написано fracture_012.png, и это имя попало в признаки. Модель читает диагноз из названия.

Проверка простая. Выпишите, какие поля будут известны в момент решения. Всё, что появляется позже, из обучения уберите. Потом возьмите 30 случайных тестовых примеров и поищите их близнецов в обучении. Если нашлись — разбиение нечестное.

Разметка: не верьте метке, которую никто не сверял

Метка — это тоже данные, и она ошибается чаще, чем кажется. Особенно если её ставил один человек в последний вечер или её вытащили из текста регулярным выражением.

Минимум для набора, на котором будут принимать решение о модели:

• короткая инструкция: что считать классом, что делать с пограничным случаем;
• два независимых взгляда хотя бы на 100–200 примеров;
• список расхождений и одно правило, как их закрывать.

Совпали почти все — разметке можно верить в первом приближении. Разошлись на каждом третьем — учить рано, даже если строк сто тысяч. Спорный кусок либо переписывают в инструкции, либо выкидывают из обучения и не кладут в тест «как получится».

Готовый размеченный набор имеет смысл брать с превью: сто чужих примеров скажут больше, чем строка «размечено экспертами» в описании. Смотрите такие наборы в каталоге.

Карточка важнее ещё одного гигабайта

Карточка датасета — это не украшение витрины. Это ответ, можно ли повторить эксперимент через полгода. В ней должны быть:

• откуда строки или файлы взялись и за какой период;
• что означает каждый столбец или какая разметка на картинке;
• что уже вычистили и что сознательно оставили;
• лицензия и есть ли персональные данные;
• какой кусок считается тестом и почему его нельзя докидывать в обучение.

Без этого набор живёт в чате: «ну мы вроде на мартовской выгрузке учили». Мартовских выгрузок оказывается три.

20 октября 2026 года «Компьютерра» написала, что в Новосибирске сделали платформу «Каппа»: версии данных, сравнение моделей и проверка набора в одном контуре, с установкой у себя, чтобы записи не уезжали наружу. Идея важнее названия. Фиксируйте версию набора и гоняйте модели по одному и тому же тесту. Иначе каждая новая «точность» — про другой датасет, и сравнивать нечего.

Лицензия и персональные данные — часть качества

Кривой столбец чинится. Чужой текст без права и базу с фамилиями — нет, по крайней мере не внутри обычного эксперимента.

Перед обучением ответьте на два вопроса отдельно, не смешивая их:

• Чужое произведение. Можно ли эти тексты, фото или записи использовать для обучения, а не только читать на сайте. «Оно лежит в интернете» ответом не является.
• Человек. Можно ли понять, о ком строка. Тогда это уже разговор про 152-ФЗ, а не про формат CSV. Разбор — в статье 152-ФЗ и датасеты.

Если ответа нет, набор не «почти готов». Его нельзя класть в модель, которую потом покажете заказчику.

Когда набор лучше не учить

Остановитесь, если выполняется хотя бы одно:

• нет отложенного теста, который модель не видела;
• редкий класс, ради которого всё затеяли, представлен единицами примеров;
• метки на контрольной пачке расходятся сильнее, чем допустимая ошибка продукта;
• неизвестен источник или лицензия.

Дальше три нормальных хода: почистить то, что есть; разметить заново узкое место; взять отраслевой набор с понятной карточкой и проверить его на своём тесте. Докупить гигабайты того же шума — не ход.

Свой аккуратный набор, который уже прошёл этот список, можно не держать в столе. Неэксклюзивную копию публикуют на AI Data Stock: покупатель видит превью и карточку до сделки.

FAQ

Как быстро проверить датасет, если он уже «в проде»? Возьмите 50 свежих боевых примеров, которых не было в обучении, и прогоните модель вручную. Если ошибки не похожи на тестовый отчёт, сначала ищите дубли и утечку, а не меняйте архитектуру.

Сколько процентов данных оставлять на тест? Часто хватает 10–20%, но важнее правило деления: один клиент, один документ или один пациент не должен оказаться по обе стороны. Маленький честный тест полезнее большого, который подглядывает в обучение.

Что делать с пропущенными значениями? Посмотрите, не означает ли пропуск отдельное событие («поле не заполнили, потому что заявку отклонили»). Заполнять средним всё подряд — способ стереть этот сигнал. Долю пропусков по столбцам запишите в карточку.

Можно ли проверить качество чужого датасета до покупки? Да, если продавец даёт превью и описание полей. На превью ищите дубли, пустые метки и поля, которые похожи на персональные данные. Полный файл для этой проверки не нужен.

Сомневаетесь в своём наборе? Сверьтесь с карточкой и превью в каталоге датасетов. Уже проверили и разметили? Разместите набор на AI Data Stock.