pytorch学习之梯度下降

梯度下降
激活函数梯度Sigmoid函数tanh函数relu函数
loss及其梯度MSE 均方误差softmax函数
感知机梯度推导优化器实例

梯度有方向，导数没有方向，在一维的情况下，导数近似等于梯度
激活函数梯度
Sigmoid函数
使结果在0，1之间
导数：
tanh函数
常用于RNN，输出在-1，1之间 导数：
relu函数
目前深度学习常用的激活函数 导数：
loss及其梯度
MSE 均方误差
lo?? = Σ [? − ??(?)]2梯度： ∇???? / ∇? = 2 Σ [ ? − ??(?) ] ∗ (∇??(?) / ∇θ)代码中可以调用 function.mse_loss(a,b) 函数，a为y；b为 ??(?)下例中 .requires_grad_() 可以帮助记录更新信息 使用 torch.autograd.grad(loss

pytorch学习之梯度下降最先出现在Python成神之路。