Изображения для обучения нейросети: как собрать датасет

Изображения для обучения нейросети собирают под конкретное решение: что модель должна различать и на каких реальных снимках работать. Итогом должен стать проверяемый датасет с разметкой, правами использования, раздельными выборками и простым baseline.

Сначала определить задачу и единицу примера

У изображений есть разные задачи. Классификация присваивает всей картинке класс. Детекция ищет объекты и рамки. Сегментация отмечает область объекта по пикселям. Для первой самостоятельной работы проще классификация: структура данных понятнее, а ошибку разметки легче заметить.

До сбора запишите четыре вещи: что считается одним примером, какие классы допустимы, какое решение поддержит модель и чем вы измерите результат. Общие понятия обучающей выборки уже разобраны в статье откуда берутся данные для нейросети. Здесь фокус на изображениях, сериях снимков, фоне и разметке.

Если два человека не могут одинаково присвоить класс одному снимку по короткой инструкции, модель тоже не получит ясную задачу. Сначала чините правило разметки, потом увеличивайте набор.

Правило выбора: готовая модель, дообучение или свой датасет

• Используйте готовую модель, если её классы и реальные условия совпадают с вашей задачей.
• Дообучайте готовую модель, если предметы знакомые, но отличаются камера, фон, ракурс или собственные категории.
• Собирайте отдельный датасет и baseline, если нужно измерить качество именно на ваших данных.
• Не начинайте обучение, если задача решается правилом, поиском по каталогу или ручной проверкой редких случаев.

Сбор набора не означает обучение большой модели с нуля. Для прикладной классификации сначала проверяют данные на небольшой готовой архитектуре, затем решают, нужен ли сложный путь. Разницу между продуктом на готовой модели и своей моделью объясняет материал как создать нейросеть с нуля.

Шаг 1. Собрать изображения из реальной среды

Набор должен представлять условия будущей работы: разные устройства, расстояния, освещение, фон, ориентация и допустимые состояния объекта. Не добавляйте вариацию ради красоты. Добавляйте её, только если она встретится после запуска.

1. Составьте список классов и отрицательных примеров, которые модель должна отвергать.
2. Опишите для каждого класса допустимые и недопустимые случаи одним правилом.
3. Собирайте снимки сериями, но присваивайте серии и объекту стабильные идентификаторы.
4. Сразу записывайте источник, автора, дату, согласие и условия лицензии в manifest.
5. Отложите партию из будущей реальной среды, не используя её при настройке.

Для хранения подойдёт структура папок по классам или таблица metadata с именем файла и меткой. Hugging Face Datasets документирует ImageFolder и отдельные метаданные. Формат важен меньше, чем стабильные идентификаторы, однозначные метки и возможность воспроизвести сборку.

dataset/
  images/
    object-001-frame-001.jpg
  metadata.csv
  README.md

По теме: Обучение нейросетям для педагогов: план на 2026 год

Шаг 2. Проверить права и происхождение

Открытая картинка не означает свободное использование. Храните источник, автора, разрешение, ограничения и согласие для снимков людей. Условия лицензий Creative Commons различаются: некоторые запрещают коммерческое использование или переработку.

• Собственные снимки: зафиксируйте автора и условия.
• Клиентские материалы: получите разрешение на обучение и хранение.
• Открытые наборы: прочитайте карточку и лицензию.
• Синтетика: пометьте происхождение и не делайте её единственной проверкой.
• Неясные права: исключите файл до выяснения.

Шаг 3. Очистить битые файлы и близкие дубли

Точные дубли совпадают полностью, близкие выглядят почти одинаково: соседние кадры видео, кропы одного фото, пересохранение или небольшая коррекция цвета. Если такие кадры окажутся в разных выборках, модель может узнать конкретный объект или фон и показать завышенный результат.

Проверяйте данные двумя проходами. Механический проход ищет нечитаемые файлы, одинаковые хэши, необычные размеры и подозрительно похожие изображения. Визуальный проход показывает сетку по каждому классу и группе похожести. Решение принимают по смыслу: разные кадры одного предмета остаются одной группой для разделения.

Шаг 4. Провести визуальную проверку разметки

Разметку нельзя оценить только по таблице. Сделайте случайную сетку для каждого класса, отдельно покажите редкие классы, самые тёмные и светлые кадры, крайние размеры и спорные примеры. Второй проход должен проверять один письменный критерий, а не личный вкус.

• Метка соответствует объекту, а не фону или имени папки.
• Класс читается без знания источника файла.
• Спорные примеры имеют отдельный статус, а не случайную метку.
• В каждом классе есть реальные сложные условия.
• Нет водяных знаков, рамок или одинаковых шаблонов, выдающих ответ.

По теме: Нейросеть для генерации промпта: рабочий способ в 2026

Шаг 5. Разделить train, validation и test без утечки

Сначала объедините связанные кадры в группы по человеку, предмету, серии, камере или источнику. Затем назначайте группу целиком в одну выборку. Только после этого делайте увеличение данных. Иначе оригинал попадёт в train, а отражённая или обрезанная копия в test.

Google рекомендует раздельные train, validation и test без дублей и с проверкой в реальных условиях. См. официальный раздел как делить датасет. Test не должен участвовать в подборе модели.

split,group_id,file,label,source,license
train,object-001,images/a.jpg,class-a,own,consent-001
validation,object-107,images/b.jpg,class-a,own,consent-014
test,object-205,images/c.jpg,class-b,cc-by,source-url

Шаг 6. Обучить baseline и разобрать ошибки

Baseline нужен не для рекорда, а для проверки датасета. Возьмите простой воспроизводимый конвейер, сохраните seed, размеры входа, классы и версии зависимостей. Официальный учебник TensorFlow показывает загрузку изображений из папок, изменение размера, перемешивание и validation: Load and preprocess images.

После обучения не ограничивайтесь общей accuracy. Откройте ошибки каждого класса. Если validation выглядит отлично, а реальная партия проваливается, ищите утечку серий, фон-подсказку или отличие камеры. Если один класс проигрывает, проверьте баланс, критерий метки и похожесть классов до усложнения модели.

По теме: Claude Science: научная работа с проверкой источников в 2026

Проверяемый чек-лист готового датасета

• Есть классы, отрицательные примеры и измеримый критерий.
• У каждого файла есть идентификатор и происхождение.
• Права разрешают планируемое использование.
• Точные и близкие дубли найдены до разделения.
• Связанные серии не пересекают train, validation и test.
• Визуальная выборка каждого класса перепроверена.
• Baseline воспроизводится на отдельной реальной партии.
• Ошибки разобраны по изображениям, а не только по итоговой цифре.

Когда этот способ не подходит

Не собирайте свой набор, если нужен готовый генератор, поиск похожих файлов или распознавание стандартных объектов, которое уже решает готовая модель. Откажитесь от проекта, если нельзя законно получить данные или безопасно обработать лица, медицинские изображения и другие чувствительные сведения. Маленький набор также не доказывает качество в условиях, которых в нём нет.

Понимание механики весов полезно, но не исправит плохие данные. Если нужно разобраться, почему модель заучивает примеры и как работает ошибка, используйте отдельное объяснение алгоритма обучения нейросети.

Частые вопросы

Сколько изображений нужно для одного класса?

Универсального числа нет. Оно зависит от различий внутри класса, сложности границы и условий применения. Начните с набора основных вариантов, затем добавляйте данные по ошибкам baseline.

Можно ли использовать картинки из поиска?

Только если проверены права на каждый источник и условия подходят вашему сценарию. Открытый доступ к файлу сам по себе не даёт разрешения на обучение.

Нужно ли увеличивать данные до разделения?

Нет. Сначала назначьте исходные группы в train, validation и test, затем применяйте увеличение только внутри train. Иначе изменённые копии создадут утечку.

Можно ли заменить реальные снимки синтетическими?

Синтетика помогает добавить редкие варианты, но не подтверждает работу на реальной камере и фоне. Финальная проверка должна содержать независимые реальные примеры.