Разметка данных для обучения нейросетей: практический процесс

Разметка данных для обучения нейросетей превращает исходные тексты, изображения, аудио или события в примеры с ожидаемым ответом. Рабочий результат здесь не количество поставленных меток, а набор, в котором правило понятно разным исполнителям, спорные случаи отмечены, а обучающая и проверочная части не смешаны.

Что именно считается разметкой данных

Метка описывает ответ, который модель должна научиться воспроизводить: класс документа, границы объекта, фрагмент сущности, оценку ответа или пару «вопрос и эталон». AWS описывает человеческую разметку как способ собрать качественный обучающий набор и допускает готовые либо собственные рабочие процессы для разных типов задач в документации SageMaker Ground Truth.

Сначала зафиксируйте будущий выход модели. Если нужен один итог на весь объект, подходит классификация. Если нужно найти объект на изображении, понадобятся рамки или маски. Если нужно выделить имя, дату или адрес внутри текста, размечаются границы фрагмента. В разборе данных для обучения нейросети показано, откуда берётся исходный материал; здесь речь только о превращении материала в проверяемые примеры.

Правило выбора: единица разметки должна совпадать с единицей ответа модели. Не рисуйте рамки, если продукту нужен только класс изображения, и не ставьте один класс, если продукт должен показать точное место объекта.

Карта результата до начала работы

Исходная ситуация: у вас есть сырые данные и понятная прикладная задача, но нет единого эталона. Ожидаемый результат: версия набора с описанной схемой, журналом спорных примеров и отдельными частями для обучения, настройки и финальной проверки.

• Обязательные шаги: определить объект и ответ, составить словарь меток, сделать небольшой пилот, разобрать расхождения, только затем размечать основной объём.
• Проверка: другой человек применяет инструкцию к незнакомому примеру и получает тот же класс или те же границы.
• Частые сбои: пересекающиеся классы, неполные примеры, разные правила для похожих случаев, попадание копий одного объекта в разные выборки.
• Ограничение: хорошая разметка не исправляет смещённую исходную выборку и не добавляет ситуации, которых в данных нет.
• Метод не подходит, если задачу можно решить поиском по базе знаний без дообучения или если владелец данных не разрешал их использовать.

По теме: Обучение нейросетям для бизнеса: план внедрения в 2026

Как составить схему меток без противоречий

Опишите каждый класс через четыре поля: когда ставить метку, когда не ставить, положительный пример и граничный пример. Для класса «жалоба на доставку» укажите, относится ли к нему вопрос о сроке, сообщение о потерянной посылке и недовольство курьером. Слова «похоже» и «по смыслу» без примера оставляют решение на усмотрение исполнителя.

Добавьте служебные варианты «не уверен» и «не относится», если задача допускает неоднозначность. Это безопаснее, чем заставлять человека выбирать неверный класс. Позже спорные записи можно направить эксперту, а не незаметно смешать с уверенными ответами.

Минимальный безопасный пример для текстовой классификации хранит идентификатор, исходный текст, метку и версию инструкции. Личные данные в примере не нужны: замените имя, телефон и адрес нейтральными обозначениями до передачи исполнителям.

{"id":"msg-a","text":"Заказ не приехал в обещанный день","label":"delivery_problem","guide_version":"v-a"}
{"id":"msg-b","text":"Когда привезут заказ?","label":"needs_review","guide_version":"v-a"}

Пошаговый процесс разметки

Процесс обучения модели включает подготовку данных, обучение и независимую проверку. В статье об этапах обучения эти части собраны в общий цикл. На этапе разметки используйте следующий порядок:

1. Сформулируйте решение, которое должна выдавать модель, и критерий ошибки, опасной для продукта.
2. Очистите явные дубли, повреждённые файлы и записи без нужного контекста. Сохраните журнал исключений, чтобы очистку можно было повторить.
3. Создайте словарь классов и короткую инструкцию с граничными примерами.
4. Разделите связанные объекты по группам. Сообщения одного диалога, кадры одного ролика или копии одного документа должны оставаться в одной части набора.
5. Проведите пилот с несколькими исполнителями на одинаковой порции. Обсудите не людей, а причины расхождения правил.
6. Исправьте инструкцию и повторите пилот на новых примерах. Начинайте основной объём только после того, как спорные случаи имеют явное решение.
7. Проверяйте выборку слепым повторным просмотром и отдельно выгружайте все метки «не уверен».
8. Заморозьте версию схемы и данных, затем передайте обучающую, валидационную и тестовую части вместе с описанием происхождения.

Google рекомендует оценивать модель на отдельном тестовом наборе и разделять данные на обучающую, валидационную и тестовую части в курсе по машинному обучению. Практическое следствие: деление нужно делать по независимым группам, а не случайными строками после размножения или нарезки исходников.

По теме: Данные для обучения нейросети: откуда берутся и какие нужны вам

Проверяемый чек-лист качества

Перед передачей набора пройдите контроль не по среднему числу меток, а по конкретным отказам:

• У каждой метки есть однозначное условие включения и исключения.
• В инструкции присутствует хотя бы один спорный пример для каждого класса.
• Пропуски, повреждённые объекты и случаи «не уверен» видны отдельно.
• Одинаковые и связанные объекты не разошлись между обучающей и проверочными частями.
• Версия инструкции записана рядом с результатом разметки.
• Есть журнал исправлений, а исходные данные остаются неизменяемыми.
• Права на использование данных и доступ исполнителей подтверждены до начала работы.

Когда один объект размечают несколько исполнителей, Ground Truth объединяет результаты и выдаёт показатель уверенности; AWS отдельно предупреждает, что такой показатель нельзя считать абсолютной вероятностью и сравнивать между разными заданиями. Это ограничение описано в справке по выходным данным разметки. Поэтому разногласия полезнее разбирать по типам ошибок, чем скрывать одним общим баллом.

Диагностика по симптому

Если модель путает два класса, найдите примеры на границе этих классов и сравните формулировки инструкции. Если ошибка возникает только на новых источниках, проверьте, представлены ли они в исходной выборке. Если проверочная оценка высокая, а реальный результат слабый, ищите дубли, связанные объекты или признаки, которые случайно раскрывают правильный ответ.

Если исполнители часто выбирают «не уверен», не запрещайте эту метку. Сначала сгруппируйте причины: нет контекста, классы пересекаются, объект повреждён или нужен эксперт. Для каждой группы решение разное. Добавление контекста лечит первую, изменение схемы вторую, исключение объекта третью, экспертная очередь четвёртую.

Для небольшого прикладного проекта сначала проверьте, требуется ли обучение вообще. Иногда достаточно подключить документы через поиск и дать модели их как контекст. Сравнение дообучения и настройки под свои данные помогает выбрать путь до затрат на массовую разметку.

Частые вопросы

Можно ли поручить всю разметку нейросети?

Можно использовать предварительные метки, но эталон и спорные случаи всё равно должен контролировать человек. Иначе прежняя модель переносит свои ошибки в новый набор.

Сколько данных нужно разметить?

Универсального объёма нет. Начинайте с пилота и проверяйте ошибки на независимой части. Если новые примеры перестали закрывать важные сценарии, полезнее расширить разнообразие, а не только количество.

Нужны ли два исполнителя для каждого объекта?

Не всегда. Двойная независимая разметка особенно полезна для пилота, спорных классов и контрольной выборки. Однозначный основной поток можно проверять выборочно.

Что делать с примерами без однозначного ответа?

Помечать отдельно, выяснять причину и не включать в эталон принудительно. Иногда правильное решение состоит в изменении самой задачи или объединении классов.