Доказательство уравнения ошибки выходного слоя δ

Рейтинг: 1Ответов: 1Опубликовано: 31.07.2023

В книге Майкла Нильсона (точнее в ее переводе) - https://habr.com/ru/articles/457980/ приведено доказательство уравнение ошибки выходного слоя. введите сюда описание изображения

Почему во второй формуле суммируют произведения частных производных? Ведь и так понятно, что от взвешенного входа, например, первого нейрона выходного слоя не зависят остальные нейроны выходного слоя. Можно же было по цепному правилу сразу вывести третье уравнение.

Ответы

▲ 1Принят

Да, можно было бы вывести третье уравнение, используя цепное правило. Однако, в данном доказательстве используется метод частных производных, который также является корректным и позволяет получить тот же результат.

Суммирование произведений частных производных происходит потому, что ошибка выходного слоя зависит от всех входов выходного слоя, а не только от входа, соответствующего данному нейрону. Иными словами, изменение весового коэффициента одного нейрона может повлиять на ошибку всего выходного слоя.

Таким образом, суммирование произведений частных производных позволяет учесть влияние всех нейронов выходного слоя на ошибку и получить правильное уравнение для δ.