深度学习基础20（权重衰退以及代码实现详解）

权重衰减

下面来学习一些正则化模型的技术。
为什么要正则化？
我们可以通过去收集更多的训练数据来缓解过拟合。 但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。 假设我们已经拥有尽可能多的高质量数据，便将重点放在正则化技术上。
实际上，限制特征的数量是缓解过拟合的一种常用技术。
但简单地丢弃特征对于这项工作来说可能过于生硬。 我们继续思考多项式回归的例子，考虑高维输入可能发生的情况。 多项式对多变量数据的自然扩展称为单项式（monomials）， 也可以说是变量幂的乘积。 单项式的阶数是幂的和。
注意，随着阶数?的增长，带有阶数?的项数迅速增加。
即使是阶数上的微小变化，比如从2到3， 也会显著增加我们模型的复杂性。
因此，我们经常需要一个更细粒度的工具来调整函数的复杂性。
范数与权重衰减
权重衰减是最广泛使用的正则化的技术之一
在训练参数化机器学习模型时， 权

深度学习基础20（权重衰退以及代码实现详解）最先出现在Python成神之路。