Датасеты речи на русском: для распознавания и синтеза

Голосовые ассистенты, транскрибация звонков, субтитры, озвучка — всё это требует речевых данных. Для распознавания (ASR) нужны записи с точной расшифровкой. Для синтеза (TTS) — чистые записи одного или нескольких дикторов с выверенным текстом. Ниже — обзор открытых русскоязычных корпусов и того, что учитывать при их выборе.

⚠️ Объёмы в часах и лицензии наборов меняются с выходом новых версий. Цифры не приводим или помечаем [проверить] — смотрите страницу набора.

Открытые корпуса для распознавания речи (ASR)

Mozilla Common Voice (русский)

Краудсорсинговые записи добровольцев, читающих предложения. Лицензия CC0. Плюсы: много дикторов и разные микрофоны. Минусы: читаемая (не спонтанная) речь, разное качество записи. Подходит для дообучения и оценки.

Golos (Сбер)

Русский корпус с несколькими доменами: краудсорсинговые записи и речь в условиях «дальнего поля» (умная колонка) [проверить состав и объём]. Хорош для голосовых ассистентов. Лицензию проверяйте на странице набора.

Open STT

Один из крупнейших открытых русскоязычных наборов: телефония, YouTube, аудиокниги, лекции [проверить объём]. Лицензия некоммерческая (CC BY-NC) [проверить] — для коммерческих продуктов нужна отдельная договорённость.

Multilingual LibriSpeech / M-AILABS / аудиокниги

Аудиокниги с выровненными текстами. Чистая дикторская речь — хороша для TTS и как дополнение для ASR, но далека от разговорной.

Многоязычные корпуса с русским

FLEURS, VoxPopuli и другие [проверить наличие русского]. Удобны для бенчмарков и многоязычных моделей.

Корпуса для синтеза речи (TTS)

Для качественного синтеза нужен один диктор (или несколько) с часами студийных записей, ровной интонацией и выверенными текстами. Открытых русских TTS-корпусов немного. Для коммерческой озвучки обычно записывают собственного диктора по договору с явным согласием на синтез голоса.

Чего не хватает в открытом доступе

• Телефонная и спонтанная речь по отраслям: банки, медицина, ретейл, логистика.
• Акценты и региональные особенности русской речи.
• Детская и пожилая речь.
• Шумные условия: улица, производство, автомобиль.
• Разметка эмоций, дикторов, перебиваний в диалоге.
• Узкая лексика: медицинские и технические термины, названия товаров.

Именно эти данные покупают компании, строящие голосовые продукты. Каталог: речевые датасеты.

Юридическая сторона: голос — это персональные данные

• Запись голоса позволяет определить человека, поэтому это ПД. При использовании для идентификации — биометрия (ст. 11 152-ФЗ).
• Нужны письменные согласия дикторов: на запись, на использование для обучения ИИ и на передачу третьим лицам (покупателям датасета).
• Записи звонков клиентов нельзя продавать без оснований. Даже после удаления ФИО в разговоре остаются голос и детали.
• Для синтеза голоса конкретного человека — отдельное явное согласие. Без него — риск нарушения прав на изображение и голос и претензий.

Подробнее — в статье 152-ФЗ и датасеты.

Как собрать свой речевой датасет

1. Задача. ASR для команд, транскрибация звонков или TTS?
2. Сценарий записи. Тексты для чтения (сбалансированные по звукам) или свободная речь по темам.
3. Дикторы. Разнообразие по полу, возрасту и региону — для ASR. Один профессиональный диктор — для TTS.
4. Согласия. Договор или согласие с явными целями и передачей.
5. Техника. Формат WAV или FLAC, частота 16 кГц для ASR, 22–48 кГц для TTS, без сжатия с потерями.
6. Транскрипция. Правила для чисел, сокращений, слов-паразитов и шумов ([шум], [смех]).
7. Контроль качества. Выборочное прослушивание, подсчёт WER между двумя транскрибаторами.
8. Метаданные. Диктор (анонимный ID), пол и возрастной интервал, устройство, условия.
9. Разделение. Дикторы в test не должны встречаться в train.

Формат датасета

audio/
  spk001_0001.wav
  ...
metadata.csv   # path, text, speaker_id, gender, age_group, device, duration_sec
README.md      # инструкция транскрипции, лицензия, согласия

Как оценивать модели на речи

• WER — доля ошибок в словах (замены, вставки, пропуски).
• CER — то же по символам.
• Для TTS — экспертная оценка естественности (MOS) и разборчивости.

Нормализуйте текст (регистр, пунктуация, числа) одинаково для эталона и гипотезы, иначе WER будет некорректным.

FAQ

Где скачать датасет русской речи? Common Voice (ru), Golos, Open STT, аудиокниги MLS и M-AILABS — на Hugging Face и сайтах проектов.

Какой датасет подходит для коммерческого распознавания речи? Наборы с лицензиями CC0 или CC BY (например, Common Voice) или купленные корпуса с согласиями дикторов на коммерческое использование.

Можно ли продавать записи своего голоса? Да, вы распоряжаетесь своими данными. Оформите в карточке условия и ограничения (например, запрет на синтез клона голоса).

Можно ли продавать записи звонков колл-центра? Только при законных основаниях и согласиях всех участников. Без них — нет.

Сколько часов речи нужно для дообучения ASR? Зависит от модели и домена. Для адаптации современной предобученной модели под домен иногда достаточно десятков часов качественных данных [проверить на своей задаче].

Нужен речевой датасет под ваш домен? Ищите в речевые датасеты на AI Data Stock — с согласиями дикторов в карточке и прослушиваемым сэмплом. Записываете речь или у вас есть корпус с согласиями? Продавайте его.