Каталог / Текст и NLP

Карточка-указательПДн: не обнаружены

Megawika

Открытый датасет «Megawika» от hltcoe. Лицензия CC BY-SA 4.0. Файлы остаются у источника.

MegaWika is a multi- and crosslingual text dataset containing 30 million Wikipedia passages with their scraped and cleaned web citations. The passages span 50 Wikipedias in 50 languages, and the articles in which the passages were originally embedded are included for convenience. Where a Wikipedia passage is in a non-English language, an automated English translation is provided. Furthermore, nearly 130 million English question/answer pairs were extracted from the passages, and FrameNet events occurring in the passages are detected using the LOME FrameNet parser. Карточка открытого датасета. Файлы на площадку не копируются. Автор: hltcoe. Лицензия: CC BY-SA 4.0.

Состав

Тип
Текст
Форматы
ZIP
Строки
—
Часы
—
Объём
—
ПДн в карточке
ПДн нет
Язык
ru
География
русский

Образец

Текстового образца нет. Для открытого набора файл лежит у источника.

Автор: hltcoe. Источник: https://huggingface.co/datasets/hltcoe/megawika. Лицензия: CC BY-SA 4.0 (https://huggingface.co/datasets/hltcoe/megawika).

Площадка является информационным посредником (ст. 1253.1 ГК РФ). Ответственность за законность данных несёт продавец. Сообщить о нарушении

Похожие

Текст и NLP

C4

Открытый датасет «C4» от allenai. Лицензия ODC-BY. Файлы остаются у источника.

ТекстODC-BY
У источникаОткрытые данные

Текст и NLP

Wiki lingua

Открытый датасет «Wiki lingua» от GEM. Лицензия CC BY-NC-SA 3.0. Файлы остаются у источника.

ТекстCC BY-NC-SA 3.0Некоммерческое
У источникаОткрытые данные

Текст и NLP

Wikipedia

Открытый датасет «Wikipedia» от legacy-datasets. Лицензия CC BY-SA 3.0. Файлы остаются у источника.

ТекстCC BY-SA 3.0
У источникаОткрытые данные

Текст и NLP

Belebele

Открытый датасет «Belebele» от facebook. Лицензия CC BY-SA 4.0. Файлы остаются у источника.

ТекстCC BY-SA 4.0
У источникаОткрытые данные