第六章 网络学习相关技巧2(权重设置)

文章目录
6.1简述6.2sigmiod权重初始值6.3relu权重初始值6.4案例：不同初始值比较6.4.1common文件夹6.4.2ch06文件夹6.4.2.1weight_init_compare.py
6.4.3结果

6.1简述
在神经网络的学习中，权重的初始值特别重要。设定什么样的权重初始值，经常关系到神经网络的学习能否成功。且会影响到神经网络学习的速度。
权值衰减：就是一种以减小权重参数的值为目的进行学习的方法。通过减小权重参数的值来抑制过拟合的发生。
因此，我们在对权值进行初始化的时候，一开始便可以将初始值设置较小，使用Gauss分布生成的值。但是权重的值也不能全部设置为0(或者权值全部相同)，将权重初始值设为0的话，将无法正确进行学习。这是因为在误差反向传播法中，所有的权重值都会进行相同的更新，没有意义。
6.2sigmiod权重初始值
下面使用sigm

第六章 网络学习相关技巧2(权重设置)最先出现在Python成神之路。