Совершенно новая нейронная сеть реально бесполезна до какого-либо обучения — её внутренние числа (веса) начинаются случайно, поэтому и её догадки тоже случайны. Обратное распространение — это процесс, который превращает эту случайность в навык. Это не магия и не загадка — это точное, воспроизводимое вычисление, выполняемое миллионы раз.
Углублённый уровень магистратуры
Прямой проход: получение догадки
Каждое предсказание начинается с «прямого прохода»: входные данные проходят через сеть, слой за слоем, каждая связь умножает сигнал на свой текущий вес, пока последний слой не произведёт выход. В начале обучения, со случайными весами, этот выход почти бессмысленен. Но это реальная, конкретная догадка, и именно это делает возможным следующий шаг: вы можете сравнить его с тем, каким на самом деле должен был быть ответ.
Точное измерение того, насколько ошибочна была догадка
Это сравнение производит число — потерю — которая измеряет, насколько далеко выход сети был от правильного ответа. Небольшая потеря означает хорошую догадку; большая потеря означает плохую догадку. Потеря — это не просто оценка — это отправная точка следующего шага.
Обратный проход: распределение вины
Это шаг, который даёт название алгоритму. Используя дифференциальное исчисление (цепное правило, применяемое слой за слоем), ошибка прослеживается назад через сеть — от выхода, обратно через каждый скрытый слой, до входа — точно вычисляя вклад каждого отдельного веса в конечную ошибку.
Информация течёт вперёд, производя догадку; сигнал ошибки затем течёт назад через те же самые связи, точно указывая каждому весу его вклад в ошибку.
Новый вес = старый вес − (скорость обучения × вклад этого веса в ошибку)
Разобранный пример: один вес, один шаг
Сведём всё к простейшему возможному случаю — один вход, питающий один вес без функции активации — и весь цикл превращается в чистую арифметику. Пусть вход x = 2, текущий вес w = 0,5, целевой выход y = 3, скорость обучения η = 0,1:
- Прямой проход: предсказание ŷ = w × x = 0,5 × 2 = 1
- Потери (среднеквадратичная ошибка): L = (ŷ − y)² = (1 − 3)² = 4
- Обратный проход (цепное правило): dL/dw = 2(ŷ − y) × x = 2(1 − 3)(2) = −8
- Обновление веса: w_новый = w − η × dL/dw = 0,5 − 0,1 × (−8) = 1,3
Проверим, сработало ли это: с новым весом предсказание становится 1,3 × 2 = 2,6 — ближе к цели 3, чем исходное предсказание 1. Один шаг, в правильном направлении, ровно на ту величину, которую предписала математика. Реальная сеть повторяет ту же самую арифметику, только с тысячами весов и слоями цепного правила вместо одного.
«Скорость обучения» контролирует величину каждого изменения — слишком большая, и обучение становится нестабильным; слишком маленькая, и обучение тянется медленно. Повторите этот цикл достаточное количество раз на достаточном количестве примеров, и первоначальные случайные веса постепенно реорганизуются во что-то, что реально улавливает реальный паттерн в данных.
Вопрос в формате экзамена
Сеть с одним весом имеет вход x = 3, текущий вес w = 1, целевой выход y = 10 и скорость обучения η = 0,05. Используя среднеквадратичную функцию потерь, найдите обновлённый вес после одного шага градиентного спуска. [4 баллов]
Показать образец ответа и разбивку баллов
- Прямой проход: ŷ = w × x = 1 × 3 = 3 (1 балл)
- Потери: L = (ŷ − y)² = (3 − 10)² = 49 (1 балл)
- Градиент: dL/dw = 2(ŷ − y) × x = 2(3 − 10)(3) = −42 (1 балл)
- Обновление: w_новый = w − η × dL/dw = 1 − 0,05 × (−42) = 1 + 2,1 = 3,1 (1 балл)
На что обращает внимание экзаменатор: тщательно следите за знаком — отрицательный градиент означает, что вес должен увеличиться, поэтому вычитание отрицательного числа на самом деле его увеличивает.
Частая ошибка: упустить множитель 2 при дифференцировании среднеквадратичной ошибки, или прибавить η × dL/dw вместо того, чтобы вычесть его (что сдвинуло бы вес в неверную сторону и ухудшило бы потери, а не улучшило).
Увидеть, как это реально происходит
Чтение об обратном распространении заходит лишь до определённого предела — версия ниже — это настоящий TensorFlow Playground от Google вживую, встроенный точно так же, как он работает на playground.tensorflow.org. Нажмите воспроизведение и наблюдайте, как реальная сеть, начиная со случайных весов, постепенно вырезает границу решения через повторяющиеся циклы прямого/обратного прохода.
This is the real thing, not a screenshot — click ▶ (top left of the embed) to actually train this network and watch the decision boundary reshape itself as backpropagation runs. Built by the TensorFlow team at Google; open it full-screen here.
Почему это важно за пределами сдачи экзамена
Каждая большая языковая модель, каждый классификатор изображений, каждая система рекомендаций, с которой вы взаимодействуете, была сформирована именно этим же циклом, выполненным почти невообразимое количество раз. Если математика, стоящая за ИИ, — это то, что вы хотите понять точно, а не принимать как чёрный ящик, именно это охватывает наше репетиторство для выпускников, и вы можете увидеть полный путь обучения здесь.
Часто задаваемые вопросы
Это реально похоже на то, как учится человеческий мозг?
Нет — «нейронная сеть» заимствует смутный набросок названия и структуры, но само обратное распространение — это математическая техника оптимизации без известного биологического эквивалента. Реальные нейроны не отправляют сигнал ошибки назад через свои собственные связи, как это делает этот алгоритм. Название — это вдохновение, а не заявление о биологической точности.
Почему это называется «градиентный спуск»?
Представьте ошибку как ландшафт холмов и долин, где каждый возможный набор весов — это место, а высота представляет, насколько сильно ошибается сеть в данный момент. «Спуск по градиенту» означает всегда двигаться в направлении, которое опускается быстрее всего с вашей текущей позиции — именно то, что делает вычисленная корректировка для каждого веса, повторяемая тысячи или миллионы раз.
Почему иногда требуется так много усилий, чтобы хорошо обучить сеть?
Каждый проход намеренно сдвигает веса лишь на небольшую величину — большой шаг рискует проскочить хорошее решение и ухудшить ситуацию. Реальные сети повторяют эту небольшую корректировку по всему обучающему набору много раз (каждый полный проход называется «эпохой»), что объясняет, почему обучение серьёзной модели может занять часы, дни или недели вычислительного времени.
Оценки и отзывы читателей
Оцените эту статью по нескольким критериям — ваше мнение помогает другим читателям и помогает нам становиться лучше.
Была ли эта статья полезной?
Расскажите, что вы думаете — исправление, вопрос, оставшийся без ответа, или тема, которую вы хотели бы увидеть далее.
Хотите обсудить голосом? Запишитесь на бесплатный видеозвонок в удобное время: 15 минут для короткого вопроса, 30 — для всего остального. Время показывается в вашем часовом поясе.
Об авторе
Sudershan Soni
Основатель и главный преподаватель в Mostak Services — репетитор по математике, естественным наукам, информатике и STEM со степенью магистра и более чем 20-летним профессиональным опытом, преподаёт ученикам от уровня 11+ и GCSE до A-Level и выше, онлайн по всему миру.
Читать полный профиль