Обучение с подкреплением учит агента выбирать действия по числовой награде, чтобы получить как можно больше суммарной награды за весь путь, а не за один шаг. Агент получает сведения о состоянии среды, выбирает действие, получает награду и новое состояние; правильных ответов ему заранее не выдают, удачные действия он находит пробами. Этим метод отличается от обучения с учителем, где модели дают размеченные примеры с верными ответами, и от обучения без учителя, где модель ищет структуру в данных без ответов. Метод применяют в играх (AlphaGo), при дообучении языковых моделей по оценкам людей (RLHF) и при обучении рассуждающих моделей вроде OpenAI o1 и DeepSeek-R1. Не всякое обучение нейросети устроено так, и не каждый агент в приложении обучается во время разговора.
Чем метод отличается от обычного обучения
При обучении с учителем модель получает размеченные примеры с правильными ответами, а без учителя ищет структуру в неразмеченных данных; это различие описано в главе 1.1 учебника Саттона и Барто. Во взаимодействии со средой агент выбирает действие, получает новое состояние и сигнал награды, затем улучшает свою политику на последовательности попыток (IBM). Сравнить эти способы можно по моделям обучения нейросетей.
Обучение с подкреплением возможно и без нейросети, например с небольшой таблицей состояний и действий. Нейросеть становится частью метода, когда её используют для оценки сложной ситуации или выбора действия. Поэтому фраза «нейросеть обучается с подкреплением» описывает частный вариант более общего метода.
- Агент: система, которая выбирает действие в среде.
- Среда: то, с чем агент взаимодействует и что меняется после действия.
- Состояние: полное описание текущей ситуации в среде. Доступную агенту часть состояния называют наблюдением, например изображение с камеры робота. В бумажном лабиринте агент видит всё, поэтому наблюдение совпадает с состоянием.
- Действия: разрешённые ходы или команды.
- Награда: числовой сигнал о результате; он не всегда приходит сразу.
- Политика: способ решить, какое действие сделать в текущем состоянии.
Учиться проще, когда уже видели результат. Завтра в 12:00 МСК на бесплатном мастер-классе ИИ-агент на ваших глазах выполняет задачу целиком, а в Claude Code за эфир собирают работающий сервис.
Посмотреть бесплатноКак проверить идею на двух путях
На двух путях сравните сумму наград за всю попытку. Представьте игрушечный лабиринт. В начале агент выбирает левый или правый путь. Слева он сразу получает две условные единицы награды и завершает попытку. Справа первый шаг не даёт награды, но второй приводит к выходу и даёт пять единиц. Последствия в этой учебной среде заданы заранее, поэтому её удобно нарисовать на листе и проверить сложением.
- Нарисуйте начальное состояние и две стрелки: «налево» и «направо». Подпишите действия, чтобы агент не мог выбрать несуществующий ход.
- Для левого пути запишите награду 2 и конец попытки. Для правого пути запишите первый шаг с наградой 0, затем шаг к выходу с наградой 5.
- Сложите награды каждой траектории: слева итог 2, справа итог 5. Быстрый приз слева меньше результата двух последовательных решений справа.
- Поменяйте правило: допустим, каждый из двух шагов правого пути теперь стоит 4 единицы. Пересчитайте итог и обсудите, как изменится предпочтение.
- Сформулируйте словами, что нужно узнать при повторных попытках в неизвестной среде: какие действия куда приводят и какая награда ждёт позже.
Проверка результата проста: если вы сравнили только награду первого шага, то выбрали левый путь. Если сравнили весь путь, выбрали правый при исходных условиях. Когда агент учится, действуя в живой или симулированной среде, ему приходится пробовать новые ходы и пользоваться уже удачными; IBM называет это балансом исследования и использования опыта.
При офлайн-обучении с подкреплением модель учат на заранее собранных записях, без новых действий в среде, и новых ходов агент во время такого обучения не пробует.
По теме: Модели обучения нейросетей: как ИИ учится простыми словами 2026
Как агент учится в лабиринте: Q-learning на Python
Q-learning обновляет оценку будущей награды для каждой пары «состояние, действие» после очередного перехода в среде. Watkins предложил алгоритм в 1989 году; учебник Саттона и Барто, глава 6.5, формула 6.8 задаёт обновление: Q(s, a) ← Q(s, a) + α · [r + γ · max Q(s', a') − Q(s, a)]. Здесь s обозначает текущее состояние, a выбранное действие, r полученную награду, s' следующее состояние, α шаг обучения, γ коэффициент дисконтирования; максимум берут по разрешённым следующим действиям a'.
Коэффициент γ задаёт, насколько уменьшается вес будущей награды; в главе 3.3 учебника его диапазон записан как 0 ≤ γ ≤ 1. В бумажном примере γ = 1, поэтому будущие пять единиц учитываются целиком. С дисконтом правый путь стоит 5·γ: при γ = 0,9 получится 4,5, что больше левых 2; при γ = 0,3 получится 1,5, что меньше. При γ = 0,4 пути равны.
Чтобы агент не выбирал всё время один ход по текущей таблице, используйте ε-жадный выбор из главы 2.2 учебника: с вероятностью ε он выбирает случайный разрешённый ход, иначе лучший по таблице. Так в одном механизме сочетаются исследование новых действий и использование накопленных оценок. В примере на Python 3 ниже нужна только стандартная библиотека; alpha, gamma и epsilon задают шаг обучения, дисконт и вероятность случайного хода.
import random
# Состояния: 0 старт, 1 середина правого пути. Действия на старте: 0 налево, 1 направо.
def step(state, action):
if state == 0 and action == 0:
return None, 2 # налево: сразу 2 и конец попытки
if state == 0 and action == 1:
return 1, 0 # направо: первый шаг без награды
return None, 5 # из середины к выходу: 5 и конец
Q = {(0, 0): 0.0, (0, 1): 0.0, (1, 0): 0.0}
alpha, gamma, epsilon = 0.1, 0.9, 0.2
random.seed(1)
for episode in range(2000):
state = 0
while state is not None:
actions = [0, 1] if state == 0 else [0]
if random.random() < epsilon:
action = random.choice(actions) # исследование
else:
action = max(actions, key=lambda a: Q[(state, a)]) # использование опыта
next_state, reward = step(state, action)
best_next = 0.0 if next_state is None else max(
Q[(next_state, a)] for a in ([0, 1] if next_state == 0 else [0]))
Q[(state, action)] += alpha * (reward + gamma * best_next - Q[(state, action)])
state = next_state
print({k: round(v, 2) for k, v in Q.items()})
При gamma = 0.9 код даёт таблицу {(0, 0): 2.0, (0, 1): 4.5, (1, 0): 5.0}. Пара (0, 0) соответствует левому ходу на старте, (0, 1) правому, (1, 0) выходу из середины правого пути. Агент предпочитает правый путь, потому что его оценка 4.5 выше 2.0. Если заменить только gamma на 0.3, получится {(0, 0): 2.0, (0, 1): 1.5, (1, 0): 5.0} и предпочтение сменится на левый путь.
Как нейросеть оценивает действия и меняет политику
В DQN нейросеть заменяет таблицу Q: свёрточная сеть получает пиксели экрана и оценивает будущую награду. В статье DeepMind от 19.12.2013 такой вариант Q-learning применили к 7 играм Atari 2600: он превзошёл прежние подходы в 6 играх и человека-эксперта в 3. Здесь нейросеть выполняет ту же задачу оценки, для которой в маленьком лабиринте хватало таблицы. В публикации Nature от 25.02.2015 deep Q-network оценили уже на 49 классических играх Atari 2600, и результаты оказались сопоставимы с уровнем человека-эксперта.
Методы градиента политики, или policy gradient, обучают саму политику с параметрами θ и сдвигают эти параметры по градиенту качества. Этот подход описан в главе 13 учебника Саттона и Барто, формула 13.1; его истоки связаны с работой Williams 1992 года. В отличие от выбора по таблице ценностей, здесь обучается правило, которое непосредственно выбирает действия. К этому семейству относится PPO, который предложили Schulman и соавторы 20.07.2017; именно им дообучали InstructGPT, о котором ниже.
Награда задаёт цель обучения, но плохо выбранная награда может научить не тому, что вы хотели. До запуска проверьте, нельзя ли получить баллы, обходя смысл задачи.
Теория оживает, когда агент работает на ваших глазах. Завтра в 12:00 МСК на бесплатном мастер-классе ему ставят задачу голосом, он сам находит данные и сводит их в Google-таблицу, а в Claude Code за эфир проходят путь от идеи до сервиса.
Занять местоГде в награде скрывается ошибка
Ошибка возникает, если агент может получать награду без нужного результата. Добавим к лабиринту условный балл за касание промежуточной отметки. Если за одно и то же касание можно получать балл снова и снова, агенту выгодно кружить вокруг отметки вместо выхода. Награда должна зависеть от выхода из лабиринта, а повторное касание отметки не должно приносить баллы; простой перенос накопленных баллов на конец пути эту накрутку не убирает.
В примере Coast Runners, который Google DeepMind описал 21.04.2020, агент управлял лодкой и получал дополнительную награду за попадание в зелёные блоки на трассе. Он кружил и сбивал одни и те же блоки снова и снова вместо финиша; DeepMind приводит этот случай по разбору Amodei и Clark из OpenAI 2016 года. Такое поведение называют specification gaming: агент выполняет буквальное условие награды, но не достигает задуманного результата. Это реальный случай той ошибки, которую показывает отметка в лабиринте.
Используйте проверочный список до испытания идеи. Можно ли получить награду без нужного результата? Можно ли повторять оплачиваемое действие бесконечно? Заметит ли система вредное последствие, которое не вошло в награду? Можно ли безопасно повторить попытку? Если хотя бы один ответ вызывает сомнение, сначала улучшите правило и ограничьте действия в тестовой среде.
- Цель описана внешним результатом, а не удобным промежуточным счётчиком.
- За один и тот же шаг нельзя бесконечно получать награду без продвижения.
- Ошибки в ходе испытаний безопасны и обратимы.
- Есть отдельная проверка на новых ситуациях, а не только на тех, что уже встречались.
- Человек понимает, какие действия агенту вообще разрешены.
По теме: Данные для обучения нейросети: откуда берутся и какие нужны вам
Когда метод подходит, а когда нет
Обучение с подкреплением подходит для повторяемой цепочки действий с последствиями и измеримой целью. В игре агент может пробовать ходы и оценивать итог партии. Сети AlphaGo обучали сочетанием обучения с учителем на партиях экспертов и обучения с подкреплением на играх с собой (Nature, 27.01.2016). В марте 2016 года AlphaGo победил Ли Седоля со счётом 4-1 в Сеуле (страница Google DeepMind об AlphaGo). Это пример подходящего типа среды, но для небольшой задачи такую систему строить не обязательно.
Если у вас один независимый пример с правильной меткой, например распознать категорию письма по готовому набору размеченных писем, обучение с учителем обычно соответствует постановке задачи лучше. Если нет безопасной площадки для проб и ошибка может затронуть деньги, здоровье или людей, нельзя просто дать агенту «учиться на практике». Для рабочего чат-бота часто достаточно правил, поиска по документам и человеческой проверки, а не обучения с подкреплением. Описание общего цикла обучения нейросети поможет отделить настройку весов от самого способа поставить задачу.
Человек может дать обычному ИИ-ассистенту оценку ответа, но от одного нажатия кнопки не следует, что его нейросеть прямо сейчас переобучилась с подкреплением. Для такого вывода нужно знать устройство конкретного продукта и его документацию. Пользовательский отзыв, обучение модели и изменение поведения текущего диалога работают по разным механизмам.
Как подкреплением дообучают языковые модели: RLHF, RLAIF, RLVR
В RLHF награду для обучения задают через человеческие оценки поведения модели. Подход вырос из работы Christiano и соавторов от 12.06.2017: люди сравнивали пары фрагментов поведения агента, оценивая меньше 1% его взаимодействий со средой. В описанных экспериментах на сложные новые навыки хватало около часа человеческого времени.
Для языковых моделей процедуру показывает InstructGPT, работа OpenAI, Ouyang и соавторов от 04.03.2022. Сначала модель обучали с учителем на образцах ответов, затем отдельную модель награды учили по ранжированию ответов людьми, после чего языковую модель дообучали с подкреплением алгоритмом PPO, используя оценки этой модели как награду. В человеческих оценках на запросах из исследования ответы InstructGPT с 1,3 млрд параметров предпочли ответам GPT-3 со 175 млрд параметров.
В RLAIF оценки для обучения даёт другая модель. В Constitutional AI, работе Anthropic от 15.12.2022, она сравнивает ответы по списку принципов; из этих сравнений обучают модель предпочтений, которую затем используют как источник награды при обучении с подкреплением.
RLVR выдаёт награду за проверяемо верный ответ. Термин ввели в Tülu 3, работе AI2 от 22.11.2024: модель получает награду, только если её ответ признан верным, например в математической задаче с известным решением.
Обучение с подкреплением используют и для развития рассуждений: в системной карте OpenAI o1, опубликованной на arXiv 21.12.2024, сказано, что модели серии o1 обучены крупномасштабным обучением с подкреплением рассуждать цепочкой мыслей.
Для R1-Zero в статье DeepSeek-R1 на arXiv от 22.01.2025 авторы описали награду по правилам двух видов: за правильность ответа и за формат. Математический ответ сверяли с известным результатом, код оценивали по тестам с помощью компилятора, а рассуждение требовали помещать между служебными тегами think, открывающим и закрывающим. Нейросетевую модель награды для этого этапа не использовали из-за риска reward hacking: обучаемая модель может научиться получать высокую оценку за счёт слабостей самой модели награды, а не за верный ответ.
Работа DeepSeek-R1 вышла в Nature 17.09.2025. Чтобы понять конкретную процедуру, смотрите, кто или что выдаёт награду: человек через сравнения, модель через оценки или проверка правильности результата.
По теме: Алгоритм обучения нейросети: как это работает простыми словами 2026
Как объяснить метод без программирования
Возьмите то же сравнение двух путей с разной немедленной и конечной наградой. Попросите собеседника назвать пять частей в собственном примере: кто действует, что он видит, какие ходы доступны, какое состояние получается после хода и как считается итог. Если после сложения выбор меняется, стало ясно, почему метод связан с последовательными решениями. Если любая последовательность ходов приводит к одному и тому же итогу, задача не сообщает агенту, чему учиться.
Одинаковая награда за отдельный шаг может учить, если поведение меняет число шагов и общую сумму награды. В CartPole-v1 по умолчанию за каждый шаг дают +1, а цель состоит в том, чтобы удерживать шест вертикально как можно дольше. Поэтому сравнивать нужно итог всей попытки вместе с её длиной.
Для следующего шага можно взять маленькую безопасную симуляцию, но не утверждайте, что бумажная схема уже обучила модель. Реальная разработка требует среды, множества попыток, оценки на новых случаях и контроля нежелательного поведения. Если вам нужна практическая система, сначала изучите разницу между ИИ-агентом и чат-ботом, а затем сформулируйте границы допустимых действий.
Частые вопросы
Нужна ли нейросеть для обучения с подкреплением?
Не всегда. Сама идея касается выбора действий по награде; нейросеть можно использовать внутри агента для сложных состояний. В простом учебном примере достаточно таблицы.
Агент получает награду после каждого шага?
Сигнал может быть промежуточным или появиться позже, например по завершении всей попытки. Поэтому важно сравнивать итоговую последовательность, а не только первый ход.
Можно ли так обучить чат-бота без кода?
Обычный промпт и оценка ответа не превращают чат в новую обученную модель. Для настоящего обучения нужна специальная среда, правила награды и испытания; для многих задач проще начать с инструкций и проверки человеком.
Что делает агент в обучении с подкреплением?
Агент получает сведения о состоянии среды, выбирает действие, получает награду и новое состояние. Его цель состоит в том, чтобы найти политику, то есть стратегию выбора действий, с наибольшей суммарной наградой за весь путь (учебник Саттона и Барто, главы 1.1 и 3.2).
Что такое RLHF и чем он отличается от оценки ответа в чате?
RLHF использует человеческие оценки в отдельной процедуре обучения модели. В InstructGPT модель награды обучали по ранжированию ответов людьми, затем языковую модель дообучали алгоритмом PPO, используя эту модель как источник награды. Нажатие кнопки оценки в чате не дообучает модель на лету.
Если вы хотите применять ИИ в рабочих задачах, начните с понятной цели и способа проверки результата. На мастер-классе разберёте базовые инструменты и практические ограничения.
Записаться на мастер-класс