上次测试了调整图片色调,明暗等对目标检测的影响,得出了结论是:数据增广时调整范围越大越好,模型能自己过滤出有效的特征。但是这引出另外的问题::如果深度学习模型能够自动过滤调一些样本的话,这就相当于损失了部分训练数据。为了达到同样的训练效果,是否需要更多的训练轮数?
实验:
1.高斯噪声sigma=20,训练300轮。
2.高斯噪声sigma=50,训练300轮。
后面测试sigma=200的实验还没结束。但从训练结果上看,模型只是收敛得较慢,没有想象的那样导致无法收敛。
结论:
添加的噪声越多,需要增加训练的轮数越多。似乎只要训练的轮数足够多,随机添加多少噪声都是可以的。深度学习模型不在乎“错误、无效”的数据有多少,只要保证数据的分布能使模型模型学到有用的模式就行。
思考:
在CV实验过程中发现,在几百轮的训练中,训练集的loss一直在下降,而不是像房价预测那样,几万轮后训练集loss也不下降了。看来cv模型只是靠增加算力就还可以提高分类精度。
收藏
点赞
0
个赞
请登录后评论
TOP
切换版块
是过拟合了。但是即使过拟合,测试集分类精度还是在提高的。当然,能不能泛化就不好说了。
test loss增高不是好现象,会不会过拟合了?
这里的模型是收敛的。绿色的是MAP
我的训练模型也不收敛,哎
测试到了高斯噪声sigma=50,训练900轮。MAP开始降低了,虽然训练集loss一直在下降。还是在理论上再加深了解一下果拟合和正则化吧。
明天孙老师就讲解了,数据增广的实验先到这里吧。
以后要从模型本身下工夫了。
后面又测试了高斯噪声sigma=50,训练600轮。MAP还能提高。而且训练集loss一直在下降。