Как обучить нейросеть на своих данных

«Обучить нейросеть» сегодня почти никогда не значит «создать модель с нуля». В большинстве задач бизнеса и частных проектов достаточно взять готовую модель и адаптировать её под свои данные. Разберём, какой путь выбрать, как подготовить датасет и как понять, что модель действительно стала лучше.

Шаг 0. Выберите правильный уровень

Объёмы — ориентиры, а не правило. Всё зависит от сложности задачи и качества данных.

Правило: начинайте с самого дешёвого уровня и поднимайтесь выше, только если не хватает качества.

Шаг 1. Сформулируйте задачу как проверяемую

Плохо: «Хочу, чтобы нейросеть помогала менеджерам». Хорошо: «Модель относит входящее письмо к одному из 8 типов обращений с точностью не ниже X на тестовой выборке из 500 писем».

Определите:

• вход и выход модели;
• метрику качества (accuracy, F1, доля верных ответов, оценка экспертов);
• базовую линию: как задача решается сейчас и с какой точностью.

Шаг 2. Соберите данные

Источники:

1. Свои данные: CRM, переписка поддержки, документы, логи. Самое ценное, что у вас есть.
2. Открытые датасеты: Kaggle, Hugging Face, открытые данные. См. Скачать датасет.
3. Купленные или арендованные датасеты под отрасль: каталог.
4. Синтетические данные, сгенерированные большой моделью. Их полезно смешивать с реальными, но нельзя полностью заменять ими реальные.

Обязательно: обезличьте персональные данные до того, как отправлять их в облачные сервисы или подрядчикам. См. 152-ФЗ и датасеты.

Шаг 3. Подготовьте датасет

Для классификации текстов

CSV с колонками text, label. На каждый класс нужны десятки или сотни примеров, классы должны быть сбалансированы.

Для дообучения чат-модели

JSONL-формат «инструкция → ответ» или диалог:

{"messages": [{"role": "system", "content": "Ты консультант магазина."}, {"role": "user", "content": "Есть ли доставка в Самару?"}, {"role": "assistant", "content": "Да, доставляем..."}]}

Ответы должны быть такими, какие вы хотите получать от модели: тон, длина, точность.

Для компьютерного зрения

Изображения плюс разметка (классы, рамки, маски) в формате COCO или YOLO. Разметку делают в Label Studio или CVAT. См. Работа разметчиком.

Общие правила

• Уберите дубли и противоречивые примеры.
• Напишите инструкцию разметки и дайте спорные примеры двум разметчикам.
• Разделите данные на train, validation и test до обучения. Тест не трогайте до финала.

Шаг 4. Выберите модель и инструмент

• Таблицы: CatBoost (российская библиотека Яндекса), LightGBM, XGBoost, scikit-learn.
• Тексты, классификация: небольшие BERT-подобные модели для русского (например, семейство ruBERT) [проверить актуальные версии].
• Генерация и чат: открытые LLM с поддержкой русского языка плюс LoRA-дообучение (библиотеки Hugging Face transformers, peft, trl). Облачное дообучение предлагают и российские платформы (например, Yandex Cloud, SberCloud/Cloud.ru) [проверить условия].
• Изображения: предобученные модели семейства YOLO, ResNet, ViT.
• Без кода: AutoML-сервисы и no-code-платформы — для прототипов.

Шаг 5. Обучение локально или в облаке

Локальная нейросеть

Плюсы: данные не покидают компанию, нет оплаты за запросы. Минусы: нужна видеокарта с достаточным объёмом памяти и время на настройку.

• Классические модели на таблицах обучаются на обычном ноутбуке.
• Дообучение небольших LLM методом LoRA или QLoRA возможно на одной потребительской GPU. Требования к памяти зависят от размера модели и квантизации [проверить для конкретной модели].
• Для запуска готовых моделей локально используют Ollama, llama.cpp, LM Studio.

В облаке

Арендуйте GPU-инстанс или используйте управляемый сервис дообучения. Перед загрузкой данных проверьте, где физически хранятся данные: для персональных данных россиян действует требование локализации.

Шаг 6. Оцените результат честно

1. Посчитайте метрику на тестовой выборке.
2. Сравните с базовой линией: правилами, промптом без дообучения, текущим процессом.
3. Разберите ошибки вручную: 50–100 неверных предсказаний. Почти всегда вы найдёте проблемы в данных, а не в модели.
4. Для генеративных моделей проведите слепое сравнение ответов «до» и «после» экспертами.

Шаг 7. Внедрите и поддерживайте

• Логируйте входы и выходы (с соблюдением 152-ФЗ).
• Следите за дрейфом данных: со временем реальность меняется.
• Собирайте исправления пользователей — это новые обучающие данные (human-in-the-loop).
• Переобучайте модель по расписанию или при падении метрик.

Частые ошибки

1. Сразу дообучение, хотя RAG или промпт решили бы задачу.
2. Мало разнообразия: 1000 примеров, но все от одного клиента.
3. Утечка: одинаковые тексты в train и test.
4. Нет базовой линии: непонятно, стало ли лучше.
5. Плохая разметка: модель повторяет ошибки разметчиков.
6. Персональные данные в облачном сервисе без правового основания.

Пример: классификатор обращений за неделю

Условный пример.

• День 1: выгрузили 5 000 обращений, обезличили их, определили 8 классов.
• Дни 2–3: два сотрудника разметили 2 000 обращений, спорные случаи разобрали вместе.
• День 4: базовая линия — промпт к LLM. Затем дообучили компактную текстовую модель.
• День 5: сравнили на 400 тестовых обращениях, разобрали ошибки, уточнили два класса.
• Дни 6–7: доразметили проблемные классы и переобучили модель.

Ключевую роль здесь играют данные и разметка, а не выбор архитектуры.

FAQ

Можно ли обучить нейросеть без программирования? Да, для простых задач есть no-code-сервисы и облачные платформы дообучения. Но подготовку данных всё равно придётся делать аккуратно.

Сколько данных нужно, чтобы обучить нейросеть под свои задачи? Для дообучения классификатора иногда хватает сотен качественных примеров на класс. Для изменения стиля чат-модели — от сотен до нескольких тысяч диалогов. Это ориентиры: проверяйте на своём тесте.

Как обучить локальную нейросеть? Скачайте открытую модель, подготовьте JSONL-датасет и дообучите её методом LoRA на своей GPU через библиотеки Hugging Face. Запустите результат через Ollama или llama.cpp.

Где взять данные, если своих мало? Используйте открытые датасеты, синтетическую генерацию с ручной проверкой или купите отраслевой набор в каталог.

Что лучше: RAG или дообучение? RAG — когда нужны факты из ваших документов, которые часто меняются. Дообучение — когда нужен стиль, формат или классификация.

Нужны данные для обучения? Найдите готовые русскоязычные и отраслевые датасеты в каталоге каталог AI Data Stock — с превью до покупки. Собрали и разметили данные для своей модели? Продайте неэксклюзивную копию на AI Data Stock.