Backpropogation反向传播公式推导【李宏毅深度学习版】

引入问题
 一般神经网络里面的参数非常之多，一个一个的计算每个,不切实际。
所以引入一个有效率的计算每个参数偏微分的方法，--Backpropogation。

依靠的数学知识

求导目标为：

根据chain rule，把求导目标拆分成两部分的乘积

第一部分： 
通过正向传播记录每一层的输出激活结果，即可求出。
 第二部分：把 计作 ,把同一层的 放在一起看作一个向量,中间的可以由最后的,和 与 的关系求出。

 下面求 ：

 下面求   与 的关系：

 

  
原视频链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN%20backprop.ecm.mp4/index.html

Backpropogation反向传播公式推导【李宏毅深度学习版】最先出现在Python成神之路。