模型压缩之剪枝（MLP）

模型压缩之剪枝（MLP）（cv领域）
之前写完模型知识蒸馏后，就去忙着肝论文了，这不它又来了，开始继续模型压缩的知识模型压缩之知识蒸馏
0 剪枝概述
深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。
1 细粒度剪枝核心技术(连接剪枝)
对权重连接和神经元进行剪枝是最简单，也是最早期的剪枝技术，下图展示的就是一个剪枝前后对比，剪枝内容包括了连接和神经元。（如下图）

剪枝步骤
第一步：训练一个基准模型。第二步：对权重值的幅度进行排序，去掉低于一个预设阈值的连接，得到剪枝后的网络。第三步：对剪枝后网络进行微调以恢复损失的性能，然后继续进行第二步，依次交替，直到满足终止条件，比如精度下降在一定范围内。

2 项目介绍
本项目实现如何对MLP进行剪枝处理，同

模型压缩之剪枝（MLP）最先出现在Python成神之路。