C4
Открытый датасет «C4» от allenai. Лицензия ODC-BY. Файлы остаются у источника.
C4 Dataset Summary A colossal, cleaned version of Common Crawl's web crawl corpus. Based on Common Crawl dataset: "https://commoncrawl.org". This is the processed version of Google's C4 dataset We prepared five variants of the data: en, en.noclean, en.noblocklist, realnewslike, and multilingual (mC4). For reference, these are the sizes of the variants: en: 305GB en.noclean: 2.3TB en.noblocklist: 380GB realnewslike: 15GB multilingual (mC4): 9.7TB (108 subsets, one… Карточка открытого датасета. Файлы на площадку не копируются. Автор: allenai. Лицензия: ODC-BY.
Состав
- Тип
- Текст
- Форматы
- ZIP
- Строки
- —
- Часы
- —
- Объём
- —
- ПДн в карточке
- ПДн нет
- Язык
- ru
- География
- русский
Образец
Текстового образца нет. Для открытого набора файл лежит у источника.
Автор: allenai. Источник: https://huggingface.co/datasets/allenai/c4. Лицензия: ODC-BY (https://huggingface.co/datasets/allenai/c4).
Площадка является информационным посредником (ст. 1253.1 ГК РФ). Ответственность за законность данных несёт продавец. Сообщить о нарушении