批量规范化(batch normalization)

批量规范化可持续加速深层网络的收敛速度。可应用于单个可选层，也可应用于所有层。在每次训练迭代中，首先规范化输入，即通过减去均值并除以其标准差，两者均基于当前小批量处理。然后，应用比例系数和比例偏移。只有使用足够大的小批量，BN才有效且稳定。

对于全连接层，BN置于全连接层中的放射变换和激活函数之间对于卷积层，BN置于卷积层之后和非线性激活函数之前
batch normalization API参考文档https://pytorch.org/docs/master/generated/torch.nn.BatchNorm1d.html#torch.nn.BatchNorm1d
使用批量规范化层的LeNet:
import torch
import torchvision
from torch import nn
from torchvision import transforms
from torch.utils.data import DataLoader,Dataset
from d2l import torch as d2l

批量规范化(batch normalization)最先出现在Python成神之路。