深度学习之动态调整学习率LR

深度学习之动态调整学习率LR
1 什么是学习率2 为什么要动态调整学习率3 动态调整学习率的几种常见方法3.1 lr_scheduler.LambdaLR3.2 lr_scheduler.StepLR3.3 lr_scheduler.MultiStepLR3.4 lr_scheduler.ExponentialLR3.5 lr_scheduler.CosineAnnealingLR3.6 lr_scheduler.ReduceLROnPlateau3.7 lr_scheduler.CyclicLR
总结

1 什么是学习率
深度网络模型是在一个未知且参数量级很大的复杂函数上进行训练的，训练的目的是找到一套最优的参数，使得网络对应在该函数的最小值处。现在的训练方式多采用批量（Batch）训练法，即每次丢进网络一个Batch，每个Batch中包含一个数据集的子集，Batch的大小由自己根据显

深度学习之动态调整学习率LR最先出现在Python成神之路。