Обучение нейросети: обратное распространение ошибки

Обратное распространение ошибки помогает нейросети понять, как изменение каждого обучаемого веса повлияет на ошибку ответа. Сначала модель делает прогноз и считает ошибку, затем вычисляет влияние весов в обратном направлении, после чего оптимизатор меняет их. Здесь вы пройдёте один учебный расчёт и поймёте, как проверить, что обучение движется в нужную сторону. Для реальной глубокой сети понадобятся данные и программная библиотека; ручной пример нужен только для понимания принципа. Объяснение Google.

Что происходит до обратного прохода

Сначала задают данные, правильный ответ и способ измерить расхождение. Модель последовательно преобразует вход и получает прогноз: это прямой проход. Функция потерь сравнивает прогноз с правильным ответом. После этого алгоритм может вычислить градиент, то есть направление и величину изменения потерь при изменении каждого веса. Веса меняют не наугад, а с учётом градиента и шага обучения. Цикл градиентного спуска у Google.

Слово «ошибка» здесь обозначает измеренную функцией потерь величину, а не обязательно одну неверную метку. Для разных задач выбирают разные функции потерь. Поэтому нельзя оценивать обучение только по тому, что отдельный ответ «выглядит правильно»: сначала определите, какое число модель должна уменьшать на ваших данных. В разборе всего процесса обучения нейросети эти этапы связаны с подготовкой данных и проверкой результата.

Почему расчёт идёт от выхода к входу

Вес последнего слоя непосредственно влияет на прогноз, поэтому его вклад в потери вычислить проще. Для более раннего слоя нужно учесть цепочку промежуточных изменений. Математическое правило цепочки позволяет передать влияние ошибки назад через слои и получить градиент для каждого обучаемого веса. Это и называют обратным распространением. Само изменение весов выполняет отдельный шаг оптимизации. Google о многослойных сетях, PyTorch о вычислении градиентов.

Не смешивайте два действия: обратный проход вычисляет, в какую сторону и насколько чувствительна ошибка к весам; оптимизатор решает, как обновить веса.

По теме: Midjourney: обучение генерации на первой картинке в 2026

Можно ли увидеть это на маленьком примере

Да. Возьмите учебную модель без скрытого слоя: прогноз равен входу, умноженному на один вес. Пусть вход равен 2, правильный ответ 4, начальный вес 1, а потери равны квадрату разности прогноза и ответа. Это не полноценная глубокая сеть, но её один обучающий шаг показывает смысл градиента без установки программ. Все числа далее относятся только к этому примеру.

1. Прямой проход: 2 × 1 = 2. Прогноз равен 2. Потери: (2 − 4)² = 4.
2. Производная потерь по весу для этой формулы равна 2 × (прогноз − ответ) × вход. Подстановка даёт 2 × (2 − 4) × 2 = −8. Отрицательный знак говорит, что для уменьшения потерь вес стоит увеличить.
3. Возьмите учебный шаг 0,1 и обновите вес: 1 − 0,1 × (−8) = 1,8. Новый прогноз: 2 × 1,8 = 3,6. Новые потери: (3,6 − 4)² = 0,16.
4. Сравните потери до и после. Здесь они уменьшились с 4 до 0,16. Повторение такого расчёта с новыми весами составит следующую итерацию обучения.

Практическая проверка: повторите расчёт с шагом 0,5. Вес станет 5, прогноз 10, а потери 36. Большой шаг ухудшил результат, хотя градиент был вычислен верно. Это показывает, зачем следить за размером шага, а не считать любое изменение весов улучшением. Google отдельно объясняет, что слишком большой шаг может помешать сходимости. Гиперпараметры и размер шага.

Как это выглядит в реальном коде

Обычно вы не выписываете производные каждого слоя вручную. Библиотеки автоматического дифференцирования строят вычислительную цепочку и находят градиенты. В учебном цикле PyTorch сначала очищают накопленные градиенты, затем вызывают обратный проход по потерям и только после этого обновляют параметры через оптимизатор. Порядок важен: без очистки градиенты могут суммироваться между шагами. Официальный урок PyTorch.

• optimizer.zero_grad(): очистить градиенты перед шагом.
• loss.backward(): вычислить градиенты для обучаемых параметров.
• optimizer.step(): обновить параметры выбранным оптимизатором.

Если вы лишь пользуетесь готовой нейросетью для текста или изображений, выполнять эти операции не требуется. Для выбора между готовым сервисом и самостоятельной настройкой поможет разбор обучения нейросети под себя.

По теме: Обучение нейросети: презентация с планом слайдов и упражнением

Как найти причину, если качество не растёт

Сначала убедитесь, что сравниваете прогноз с правильной целью и считаете одну и ту же функцию потерь до и после обновления. Затем проверьте, изменяются ли вообще обучаемые веса. Если веса стоят на месте, проверьте наличие градиентов и шаг оптимизатора. Если потери резко скачут вверх, уменьшите шаг обучения и наблюдайте кривую потерь. Если градиенты ранних слоёв близки к нулю, обучение может почти остановиться; если они очень велики, изменения могут стать нестабильными. Google описывает исчезающие и взрывающиеся градиенты как типовые проблемы глубоких сетей. Официальный разбор ошибок.

Чек-лист приёмки учебного опыта: зафиксирован исходный вес, сохранены прогноз и потери до шага, выписан градиент, назван шаг обучения, получены новый вес и новые потери. Если конечные потери не уменьшились, опыт не «сломался»: проверьте формулу и размер шага, затем повторите с меньшим значением. Для полного понимания подготовки данных прочитайте статью о данных для обучения.

Частые вопросы

Обратное распространение и градиентный спуск, это одно и то же?

Нет. Обратный проход получает градиенты, а градиентный спуск использует их, чтобы изменить веса. В учебной задаче эти операции идут рядом, поэтому их часто смешивают.

Нужно ли знать высшую математику, чтобы пользоваться нейросетью?

Для работы с готовым сервисом нет. Для понимания и отладки обучения модели полезны производные и правило цепочки; Google прямо предупреждает о математической основе диагностики градиентов. Пояснение Google.

Почему ошибка может вырасти после правильного обратного прохода?

Градиент задаёт локальное направление, но слишком большой шаг обновления способен перескочить область улучшения. Проверьте размер шага и потери на следующих итерациях. О размере шага.