Где взять датасет для обучения нейросети: 40 источников

Первый вопрос любого ML-проекта — «откуда брать данные». Ниже 40 проверенных типов источников, сгруппированных по назначению. У каждого указано, для чего он хорош и на что смотреть.

⚠️ Перед использованием всегда открывайте лицензию конкретного датасета. Даже на открытых площадках многие наборы разрешены только для некоммерческого использования. Объёмы и состав наборов меняются: в тексте приведены ориентиры без точных цифр там, где их нужно перепроверять.

Как выбрать источник: 4 вопроса

1. Какая модальность? Текст, речь, изображения или таблицы.
2. Какой язык и регион? Русскоязычные данные — отдельная, более узкая категория.
3. Нужна ли коммерческая лицензия? Если продукт платный, CC BY-NC вам не подходит.
4. Нужна ли разметка под вашу задачу? Часто проще взять сырые данные и разметить их, чем искать идеальный готовый набор.

Агрегаторы и поисковики датасетов

1. Kaggle Datasets (kaggle.com/datasets) — крупнейшее сообщество ML-практиков. Десятки тысяч наборов, рядом ноутбуки с примерами кода. Качество неравномерное: смотрите рейтинг, число загрузок и описание. Подробнее — в статье Kaggle: что это и как пользоваться.
2. Hugging Face Datasets (huggingface.co/datasets) — главный хаб для текстов, речи и LLM. Удобная загрузка через библиотеку datasets, фильтр по языку ru.
3. Google Dataset Search (datasetsearch.research.google.com) — поиск по метаданным датасетов, опубликованных в интернете (разметка schema.org/Dataset).
4. Papers with Code — Datasets — датасеты, привязанные к научным статьям и бенчмаркам. Проверьте доступность: в 2025 году сервис менял владельца и формат [проверить].
5. UCI Machine Learning Repository — классические учебные табличные наборы. Хороши для обучения и тестирования алгоритмов.
6. OpenML — тысячи табличных датасетов со стандартизированными метаданными и результатами алгоритмов.
7. Zenodo — научный репозиторий. Много датасетов к исследованиям, есть DOI.
8. Registry of Open Data on AWS — большие открытые наборы (спутниковые снимки, геномика, климат), хранящиеся в облаке.
9. Каталог AI Data Stock каталог — маркетплейс, где датасеты продают и сдают в аренду. У каждого набора есть карточка и бесплатный сэмпл. Это источник, когда нужны уникальные, свежие или узкоотраслевые русскоязычные данные.

Открытые данные России

1. Росстат и ЕМИСС (rosstat.gov.ru, fedstat.ru) — официальная статистика: население, цены, производство, регионы.
2. Портал открытых данных РФ (data.gov.ru) — федеральный портал. Статус и наполнение менялись, проверяйте актуальность [проверить].
3. Портал открытых данных Москвы (data.mos.ru) — сотни наборов о городской инфраструктуре, транспорте, объектах.
4. Банк России (cbr.ru) — курсы валют, ставки, банковская статистика.
5. ФНС — открытые данные — сведения о юрлицах, налоговой статистике, МСП (реестр МСП).
6. Минфин и электронный бюджет — данные о бюджетах и госзакупках.
7. OpenStreetMap — открытая карта мира, включая Россию: дороги, здания, POI. Лицензия ODbL.

Подробный разбор — в статье Открытые данные России.

Русскоязычные текстовые корпуса

1. Национальный корпус русского языка (НКРЯ) — эталонный корпус для лингвистики. Условия доступа к полным данным ограничены.
2. Taiga — корпус русских текстов разных жанров, собранный для NLP.
3. Russian SuperGLUE — бенчмарк понимания русского языка.
4. MERA — бенчмарк для оценки русскоязычных LLM.
5. SberQuAD — вопросно-ответный датасет на русском.
6. RuSentiment и датасеты отзывов — для анализа тональности.
7. Русская Википедия (дампы) — классический источник для предобучения и RAG.
8. Многоязычные корпуса с русским (OSCAR, mC4, CulturaX) — огромные веб-корпуса. Нужна серьёзная фильтрация.

Подборка с описанием задач — в статье Датасеты на русском языке.

Речь и аудио

1. Mozilla Common Voice (ru) — открытая краудсорсинговая речь, лицензия CC0.
2. Golos (Сбер) — русский речевой корпус для ASR.
3. Open STT — большой русский набор для распознавания речи. Обратите внимание на лицензию: она некоммерческая [проверить].
4. Multilingual LibriSpeech / M-AILABS — аудиокниги с текстами, есть русская часть.
5. Каталог речевых датасетов речевые датасеты — записи дикторов, колл-центров, команд.

Подробнее — в статье Датасеты речи на русском.

Изображения и видео

1. ImageNet — классика классификации изображений. Только для некоммерческих исследований.
2. COCO — детекция и сегментация объектов, подписи к изображениям.
3. Open Images (Google) — миллионы изображений с рамками и метками.
4. Roboflow Universe — тысячи небольших датасетов для детекции в формате YOLO/COCO.

Отраслевые источники

1. Медицина: PhysioNet, MIMIC, The Cancer Imaging Archive — ЭКГ, клинические данные, медснимки. Доступ после регистрации и обучения по этике. См. Датасеты для медицины.
2. Агро: PlantVillage и др. — снимки листьев с болезнями растений, каталог снимки полей.
3. Финансы: Мосбиржа (moex.com), ЦБ — котировки и ставки (условия использования данных биржи смотрите отдельно).
4. E-commerce: открытые наборы на Kaggle (в основном зарубежные магазины) и русскоязычные наборы по WB/Ozon на маркетплейсах данных. См. Датасеты для маркетплейсов.

Собрать или заказать

1. Свои данные компании — CRM, 1С, логи сайта, обращения в поддержку. Часто это самый ценный датасет, нужно лишь обезличить его и разметить.
2. Парсинг открытых страниц — легальность зависит от условий сайта, персональных данных и авторских прав. Подробно — в статье Парсинг данных: законно ли.
3. Краудсорсинг и разметка на заказ — платформы вроде Яндекс Заданий и Toloka, студии разметки, а также заказ на AI Data Stock: опишите задачу, и продавцы предложат готовые или собранные под вас данные.

Открытый, купленный или собранный: сравнение

Чек-лист перед загрузкой чужого датасета

• [ ] Лицензия разрешает ваш сценарий (коммерция, модификация, распространение модели).
• [ ] Указан источник и способ сбора.
• [ ] Нет персональных данных или есть законные основания для их обработки.
• [ ] Вы посмотрели минимум 100 случайных примеров глазами.
• [ ] Проверили дубли и пересечение с тестовыми бенчмарками (утечка).
• [ ] Записали версию и дату загрузки.

Как искать датасеты эффективнее

Поисковые операторы. В Google и Яндексе помогают запросы вида "dataset" russian reviews filetype:csv, site:huggingface.co/datasets sentiment ru, site:github.com "датасет" разметка. На GitHub ищите по словам dataset, corpus, benchmark с фильтром по языку README.

Идите от статьи к данным. Найдите научную работу по своей задаче (Google Scholar, arXiv, eLibrary). Почти всегда в ней указан датасет, на котором обучали модель, и ссылка на него. Это самый быстрый способ найти «стандартный» набор для ниши.

Смотрите на «соседние» задачи. Нет датасета жалоб клиентов банка? Подойдёт набор обращений в поддержку телеком-оператора, дообученный на 500 своих примерах. Перенос обучения (transfer learning) сильно снижает требования к объёму собственных данных.

Проверяйте свежесть и поддержку. Дата последнего обновления, открытые issues, ответы автора. Брошенный датасет с известными ошибками разметки обойдётся дороже, чем купленный и проверенный.

Стройте пайплайн, а не разовую загрузку. Записывайте, откуда и когда скачан каждый набор, его хэш и лицензию. Через год, когда заказчик спросит о происхождении данных модели, у вас будет ответ.

Сколько стоит «бесплатный» датасет

Открытый набор стоит 0 рублей при скачивании, но у него есть скрытые затраты:

• Очистка. Удаление дублей, мусора, битых файлов. В веб-корпусах это может быть большая часть работы.
• Доразметка под ваши классы и формат.
• Юридическая проверка лицензии и персональных данных.
• Риск того, что конкуренты обучены на тех же данных и ваш продукт не будет отличаться.

Поэтому покупку готового отраслевого датасета стоит сравнивать не с нулём, а с суммой этих затрат.

FAQ

Где скачать датасет бесплатно? На Kaggle, Hugging Face, UCI, OpenML, а также на порталах открытых данных (Росстат, data.mos.ru). Перед использованием проверьте лицензию.

Можно ли использовать датасет с Kaggle в коммерческом проекте? Зависит от лицензии конкретного набора, она указана на его странице. CC0 и CC BY обычно разрешают коммерцию, CC BY-NC запрещает.

Где найти датасет на русском языке? На Hugging Face с фильтром по языку ru, в бенчмарках Russian SuperGLUE и MERA, в корпусах Taiga и НКРЯ, а также в каталоге AI Data Stock.

Что делать, если нужного датасета нет? Соберите его из своих данных, закажите сбор и разметку или разместите запрос на маркетплейсе данных.

Безопасно ли покупать датасеты? Смотрите на карточку (источник, лицензия, ПД), бесплатный сэмпл и механизм жалоб на площадке. На AI Data Stock всё это обязательно.

Не нашли нужное в открытых источниках? Ищите в каталоге каталог AI Data Stock: русскоязычные и отраслевые датасеты с превью до покупки. Собрали уникальные данные? Продайте их на AI Data Stock.