Датасет
dataset
структурированный набор данных (таблицы, тексты, изображения, аудио), собранный под одну задачу: анализ, обучение или проверку модели машинного обучения.
Глоссарий
Термины, которыми пользуются статьи журнала. Это короткие определения, не отдельные исследования.
Карточка датасета
dataset-card
описание набора данных: источник, объём, формат, поля, лицензия, способ сбора, ограничения. На AI Data Stock карточка обязательна.
Сэмпл (превью)
sample
небольшая бесплатная выборка из датасета, по которой покупатель оценивает качество до покупки.
Обучающая выборка
training-set
часть данных, на которой модель подбирает свои параметры.
Валидационная выборка
validation-set
данные для настройки гиперпараметров и ранней остановки обучения.
Тестовая выборка
test-set
отложенные данные для финальной честной оценки модели. В обучении не используются.
Разметка данных
data-labeling
добавление к данным меток (классов, рамок, транскрипций), которые модель учится предсказывать.
Разметчик (аннотатор)
annotator
человек, который размечает данные по инструкции.
Асессор
assessor
специалист, оценивающий качество ответов поиска или ИИ по инструкции. Его оценки тоже становятся данными для обучения.
Ground truth
ground-truth
эталонные «правильные ответы» для данных, с которыми сравнивают предсказания модели.
Машинное обучение
machine-learning
подход, при котором программа выводит правила из примеров (данных), а не получает их от программиста.
Нейросеть
neural-network
модель машинного обучения из слоёв связанных «нейронов». Её веса настраиваются на данных.
Глубокое обучение
deep-learning
машинное обучение на многослойных нейросетях. Основа современных моделей для текста, речи и изображений.
LLM
llm
большая языковая модель, обученная на огромных корпусах текста предсказывать следующий токен. Примеры: GPT, YandexGPT, GigaChat.
Fine-tuning (дообучение)
fine-tuning
продолжение обучения готовой модели на небольшом специализированном датасете.
LoRA
lora
способ дообучения, при котором вместо всех весов модели обучаются небольшие добавочные матрицы. Дёшево по памяти.
RAG
rag
генерация с поиском: модель перед ответом достаёт релевантные фрагменты из ваших документов.
Промпт
prompt
текстовый запрос или инструкция к генеративной модели.
Токен
token
минимальная единица текста для языковой модели: слово, часть слова или символ.
Корпус
corpus
большая коллекция текстов (или речи), собранная для лингвистики или обучения моделей.
Эмбеддинг
embedding
числовой вектор, кодирующий смысл слова, текста или изображения. Близкие по смыслу объекты дают близкие векторы.
Признак (фича)
feature
отдельная характеристика объекта в данных, например цена, возраст или цвет.
Целевая переменная
target
величина, которую модель учится предсказывать.
Классификация
classification
задача отнесения объекта к одному из классов (спам или не спам).
Регрессия
regression
задача предсказания числа (цены, спроса).
Кластеризация
clustering
группировка похожих объектов без заранее заданных меток.
Переобучение
overfitting
модель запомнила обучающие данные и плохо работает на новых.
Аугментация
augmentation
искусственное расширение датасета преобразованиями: повороты, шум, перефразирование.
Синтетические данные
synthetic-data
данные, сгенерированные алгоритмом или моделью, а не собранные из реального мира.
Дисбаланс классов
class-imbalance
ситуация, когда одних классов в данных гораздо больше, чем других.
Утечка данных
data-leakage
попадание в обучение информации, недоступной в реальном применении. Из-за неё оценки качества завышены.
Метрика
metric
число для оценки качества модели: accuracy, F1, WER, BLEU и др.
WER
wer
доля ошибок в словах при распознавании речи. Чем ниже, тем лучше.
Computer Vision
computer-vision
область ИИ, которая работает с изображениями и видео.
NLP
nlp
обработка естественного языка: тексты, перевод, анализ тональности.
ASR
asr
автоматическое распознавание речи, перевод аудио в текст.
TTS
tts
синтез речи, перевод текста в звучащий голос.
Bounding box
bounding-box
прямоугольная рамка вокруг объекта на изображении при разметке.
Сегментация
segmentation
разметка изображения по пикселям: какой пиксель к какому объекту относится.
Парсинг (скрейпинг)
parsing
автоматический сбор данных со страниц сайтов.
API
api
программный интерфейс для обмена данными между системами. На AI Data Stock через него работает аренда датасетов.
Аренда датасета
dataset-rental
платный доступ к данным на срок или по запросам без передачи полной копии.
Лицензия данных
data-license
условия использования датасета: коммерческое или нет, с указанием авторства или без.
Creative Commons
creative-commons
семейство стандартных открытых лицензий (CC BY, CC BY-SA, CC0 и др.).
Открытые данные
open-data
данные, которые опубликованы для свободного использования, обычно в машиночитаемом формате.
Персональные данные
personal-data
по 152-ФЗ любая информация, прямо или косвенно относящаяся к определённому или определяемому физлицу.
Обезличивание
anonymization
обработка, после которой без дополнительной информации нельзя определить, кому принадлежат данные.
Оператор ПД
pd-operator
лицо, которое организует обработку персональных данных и определяет её цели (термин 152-ФЗ).
Notice-and-takedown
takedown
процедура: правообладатель или субъект данных жалуется, и площадка снимает материал с публикации.
Big Data
big-data
данные такого объёма, скорости или разнообразия, что для них нужны распределённые инструменты обработки.
Data Science
data-science
дисциплина извлечения знаний из данных: статистика, программирование и предметная экспертиза.
ETL
etl
извлечение, преобразование и загрузка данных из источников в хранилище.
CSV
csv
простой текстовый табличный формат со значениями через разделитель.
Parquet
parquet
колоночный формат хранения таблиц. Сжатый, быстрый для аналитики.
JSONL
jsonl
формат «один JSON-объект на строку». Стандарт для текстовых и инструкционных датасетов.
Kaggle
kaggle
платформа соревнований по ML с открытыми датасетами и ноутбуками.
Hugging Face
hugging-face
платформа-хаб моделей и датасетов, библиотека `datasets`.
Бенчмарк
benchmark
стандартный набор задач и данных для сравнения моделей.
Data drift
data-drift
изменение распределения данных со временем, из-за которого качество модели падает.
Human-in-the-loop
human-in-the-loop
схема, где человек проверяет или исправляет решения модели, а исправления снова идут в данные.