深度学习模型训练问题记录

1，res50在cifar10上准确率低于res18
1，res50在cifar10上准确率低于res18
发现res18不加weight decay准确率可达86，但是res50只到80。 加入weight decay后，res50准确率提高到89。 res18准确率从86提高到87.8 测试除以255和利用imgnet的mean[0.485, 0.456, 0.406]和std先除以256，再减去mean和std。在res18上测试，感觉有略微提高，从87.8上升为88.1 加入flip和随机裁剪，res18提高到90.7
其他无效的测试： batch size，32变为128，准确率86->84。 删除第一层的relu，在有其他优化的情况下

深度学习模型训练问题记录最先出现在Python成神之路。