Датасеты на русском языке: большая подборка

Русский язык — не самый «бедный», но и не самый богатый на открытые данные. По сравнению с английским готовых наборов в разы меньше, многие из них устарели или распространяются с некоммерческими лицензиями. Ниже — систематизированная подборка по задачам с пометками, на что смотреть.

⚠️ Объёмы, лицензии и ссылки у датасетов меняются. Перед использованием открывайте страницу набора (обычно на Hugging Face или GitHub) и проверяйте актуальную лицензию. Помеченные [проверить] параметры нужно перепроверить перед публикацией.

Почему русскоязычные данные — отдельная задача

• Морфология. У русского богатое словоизменение: модели, обученные в основном на английском, хуже справляются с падежами и согласованием.
• Домены. Юридические, медицинские, банковские тексты на русском редко бывают открытыми.
• Локальный контекст. Реалии (Госуслуги, ИНН, маркетплейсы WB и Ozon, региональные названия) почти отсутствуют в англоязычных наборах.
• Перевод не заменяет оригинал. Машинно переведённые датасеты содержат «переводческий» стиль и артефакты.

Поэтому для дообучения моделей под российские продукты почти всегда нужны собственные или купленные русскоязычные данные. Каталог: тексты.

Большие корпуса для предобучения и RAG

Бенчмарки для оценки моделей

• Russian SuperGLUE — набор задач на понимание языка (логический вывод, здравый смысл, ответы на вопросы).
• MERA — бенчмарк для оценки русскоязычных генеративных моделей по множеству задач.
• RuCoLA — датасет грамматической приемлемости предложений.
• TAPE — бенчмарк few-shot-оценки на русском [проверить актуальность].

Бенчмарки используют для оценки, а не для обучения. Если тестовые данные попадут в обучение, метрики будут завышены (утечка данных).

Вопросы и ответы

• SberQuAD — вопросы к абзацам текста с ответами-фрагментами, аналог SQuAD.
• Наборы вопросов-ответов на Hugging Face (поиск по ru + question-answering) — разного качества, проверяйте происхождение.
• Корпоративные FAQ — самый ценный источник для RAG-ассистента вашей компании. Это собственные данные.

Тональность и отзывы

• RuSentiment — посты из соцсети с метками тональности.
• RuReviews и датасеты отзывов о товарах — отзывы с оценками. Удобны для обучения классификаторов.
• Отзывы с маркетплейсов — востребованная категория. Важно: в отзывах бывают имена и личные данные, их нужно чистить. См. Датасеты для маркетплейсов.

Классификация и извлечение сущностей (NER)

• Collection3, FactRuEval, RuREBus — NER и извлечение отношений [проверить актуальность ссылок].
• Датасеты токсичности (например, на базе комментариев) — для модерации контента.
• Классификация обращений — обычно это внутренние данные компаний. На маркетплейсе данных встречаются обезличенные наборы обращений в поддержку.

Диалоги и инструкции для LLM

Для дообучения чат-моделей нужны пары «инструкция → ответ» и многоходовые диалоги в формате JSONL.

• Переводы англоязычных инструкционных наборов (Alpaca, Dolly и т. п.) — быстрый старт, но стиль «переводной».
• Русскоязычные инструкционные наборы сообщества на Hugging Face — проверяйте, какой моделью сгенерированы ответы. Лицензия генерирующей модели может ограничивать использование.
• Собственные диалоги поддержки (обезличенные) — лучший материал для вертикального ассистента.

Пример строки JSONL:

{"instruction": "Объясни, что такое самозанятость, в двух предложениях.", "output": "Самозанятость — специальный налоговый режим..."}

Гайд по формату — в статье Как обучить нейросеть на своих данных.

Суммаризация и перевод

• Gazeta — датасет новостей с краткими пересказами для суммаризации.
• Параллельные корпуса OPUS (ru-en и др.) — пары предложений для машинного перевода. Лицензии зависят от подкорпуса.
• WMT — данные соревнований по машинному переводу.

Речь на русском

Отдельная большая тема: Common Voice, Golos, Open STT, аудиокниги. Подробный разбор — в статье Датасеты речи на русском языке. Каталог: речевые датасеты.

Как оценить русский датасет перед использованием

1. Происхождение. Откуда тексты: веб, соцсети, СМИ, перевод, генерация.
2. Лицензия. CC BY, CC BY-SA, CC BY-NC или собственная.
3. Качество. Посмотрите 200 случайных примеров: опечатки, мусор, обрывки, дубли.
4. Персональные данные. Имена, телефоны, ссылки на профили в текстах соцсетей и отзывах.
5. Сдвиг домена. Новости 2010-х плохо учат языку маркетплейсов 2026 года.
6. Перекос. Темы и стили могут быть сильно смещены (например, только политика).

Чего не хватает в открытом доступе

По нашей оценке (гипотеза, требует подтверждения спросом на площадке), сильнее всего на рынке недостаёт:

• юридических и нормативных текстов с разметкой;
• медицинских текстов на русском (обезличенных);
• диалогов колл-центров по отраслям;
• текстов e-commerce: описания, характеристики, вопросы покупателей;
• региональной речи и диалектов;
• качественных инструкционных наборов, написанных людьми, а не переведённых.

Это именно та ниша, где продавцы на AI Data Stock могут заработать, а покупатели — найти то, чего нет на Kaggle.

Как быстро собрать свой русскоязычный текстовый датасет

1. Определите задачу и формат (классификация, QA, инструкции).
2. Соберите источники, на которые у вас есть права: свои тексты, документы компании, тексты с открытыми лицензиями.
3. Очистите и обезличьте.
4. Разметьте по инструкции. Для спорных случаев нужны два разметчика и арбитраж.
5. Разделите на train, validation и test.
6. Опишите в карточке.

FAQ

Где найти датасеты на русском языке бесплатно? На Hugging Face (фильтр Languages: Russian), Kaggle, GitHub, в бенчмарках Russian SuperGLUE и MERA, в дампах Википедии.

Какой датасет взять для дообучения LLM на русском? Для общего стиля — качественные инструкционные наборы. Для своей задачи — собственные обезличенные диалоги и документы плюс несколько тысяч размеченных примеров.

Можно ли использовать переведённые с английского датасеты? Да, для старта. Но для продакшена лучше дополнить их оригинальными русскими данными.

Есть ли открытый датасет русских отзывов? Есть несколько наборов на Kaggle и Hugging Face. Проверьте лицензию и наличие персональных данных.

Где купить русскоязычный датасет? В каталоге тексты на AI Data Stock — с карточкой и бесплатным сэмплом.

Нужен русскоязычный датасет под вашу задачу? Ищите в тексты или оставьте запрос. Есть свои тексты, диалоги или разметка на русском? Продайте их на AI Data Stock: это одна из самых востребованных категорий.