论文回顾:Batch Augmentation,在批次中进行数据扩充可以减少训练时间并提高泛化能力

Batch Augmentation(BA):提出使用不同的数据增强在同一批次中复制样本实例,通过批次内的增强在达到相同准确性的前提下减少了SGD 更新次数,还可以提高泛化能力。
Batch Augmentation (BA)
没有 BA 的普通SGD:
一个具有损失函数 ℓ (w, xn, yn) 的模型, {xn, yn} 表示目标对的数据集 ,n 从 1 到 N(是 N 个数据样本),其中 xn ∈ X 和 T:X → X是应用于每个示例的一些数据增强变换,例如,图像的随机裁剪。每个批次的通用训练过程包括以下更新规则(为简单起见,这里使用具有学习率 η 和批次大小 B 的 普通SGD):

其中 k (t) 是从 [N / B] = {1,…, N / B} 中采样的,B (t) 是批次 t 中的样本集。
SGD和 BA:
BA 建议通过应用变换 Ti 来引入同一输入样本的 M 个多个实例,这

论文回顾:Batch Augmentation,在批次中进行数据扩充可以减少训练时间并提高泛化能力最先出现在Python成神之路

版权声明:
作者:ht
链接:https://www.techfm.club/p/27423.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>