paddlepaddle 13 迁移学习中的卷积基加强训练方法-RIFLE

预训练模型作为当下迁移学习的一种主流方法，让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后，便能够较好地适配类似的新目标任务，可以极大地节约时间和成本。不过，天下没有免费的午餐，这种方法看似“一劳永逸”，也需要付出一定的代价，其中的一大问题便是，由于反向传播带给深层卷积层的更新较小，微调得到的模型往往被“吸引”在预训练模型附近，无法得到充分更新。
对此，百度的一篇 ICML 2020工作《RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr》，提出了一种简单有效的策略RIFLE，通过周期性的重新初始化全连接层，给深层的特征提取网络带来有意义的更新，提升低层次特征的学习，从而显著提升迁移学习的效果。其项目开源地址为https://github.com/AgentMaker/RIFLE_Module/
虽然百度官方开源了应用于迁移学习的RIFLE

paddlepaddle 13 迁移学习中的卷积基加强训练方法-RIFLE最先出现在Python成神之路。