《深度学习入门》第四章：神经网络的学习

“学习”目的：从训练数据中自动获取最优权重、偏置参数，使得损失函数达到最小。

▲注：若有100个训练数据，要把100个损失函数的总和作为学习的指标。即： 假设有N个数据，tnk表示第n个数据的第k个元素的值，ynk是神经网络的输出，tnk是监督数据。得到E为单个数据的平均损失函数。 ▲注：为使损失函数达到最小，需要计算权重、偏置参数的导数（准确的说是梯度），然后以这个导数为指引，逐步更新参数的值。 ●若导数值为负，改变参数向正向变化，减小损失函数值；若导数值为正，改变参数向负向变化，减小损失函数值。 ●之所以不用识别精度作为指标，是因为这样参数的导数在绝大多数地方都会变成0。稍微改变参数，识别精度仍然保持，即使改变，也是不连续的、离散的、突变的值。而损失函数可以连续。 ●作为激活函数的阶跃函数由于也是突变，大部分地方都是0，即便用损失函数作为指标，损失函数值不会变化，所以神经网络中不用。 ●而由于sigm

《深度学习入门》第四章：神经网络的学习最先出现在Python成神之路。