【百度技术学院机器学习训练营第二期】-实验作业
liushuo008 发布于2019-11 浏览:13125 回复:65
15
收藏
最后编辑于2019-11

【学习有礼】百度技术学院机器学习训练营第二期作业:

进入训练营实验班级,完成班级作业:猫狗分类实验,并在评论区回答以下问题:

1、网络结构:计算每层网络结构和输入输出尺寸和参数个数。不加BN?更深?每层的尺寸变化?更多结构?

2、尝试不同的Loss函数和优化算法(SGD、Momentum、Adagrad、Adam),观察效果的变化,最好的选择是什么?为什么?

3、尝试不同的样本数量:随着每个类别样本数量由少变多,模型准确率变化的曲线是怎样的?每个类别至少有多少张图片可支撑一个准确率尚可的模型? 使用图像分类模型识别世界的万事万物是否可行?(自己编写数据读取程序,而不用默认函数;先完成同学可以在班级群内推送代码,供同学们参考)

4、使用模型实践:拍一些身边宠物狗的照片(或网上找),处理成32*32尺寸后试试模型效果,准或不准的原因是什么?

5、【挑战题,可选】VGGNet,ResNet如何搭建?在预测效果和训练时间上有怎样的差异?原因是什么? (飞桨官网上有参考代码,但不建议马上看)

 

作业提交截止时间及形式:

截止11月18日中午12点前,跟帖回答作业问题。在跟帖开头请注明:训练营班级+群内昵称(或姓名)以便发送奖励。

 

奖励:

截止11月18日中午12点前,参加【百度技术学院机器学习训练营第二期】并回答作业的同学

1、评论点赞前3名的同学分别获得训练营礼包一份(小度音箱Play1个+机械键盘1个)

2、评论点赞第4-5名同学分别获得机械键盘1个

3、老师点评作业,获得优秀作业同学分别获得双肩背包1个

4、评论有奖:按照评论时间从早到晚的顺序,将抽取第5、10、15、20、25、30、35、40、45、50层同学分别获得招财熊1个。

 

注意:

1、评论点赞前5名要求是回答作业的问题,无关话语不做点赞奖励的计算。

2、如果点赞排名有并列情况,则按照发布时间先后顺序为准,时间早的优先。

3、此奖励仅限训练营同学享有。

收藏
点赞
15
个赞
共65条回复 最后由anfangfei回复于2019-11
#6sadandroid回复于2019-11

最近课看多了,做梦梦见自己的脑子变成个深度学习的模型了,看世界都扭曲了:(

0
#5左手梦狼回复于2019-11

训练营1班+12号袁小白
2:相比较而言SGD好像很慢,原有的Adam较快,我查了资料,这里使用了 调整+动量,调整能够让学习率衰减,使得开始大步走,最后精细调;而动量在一定程度上能加速靠近极点

5:VGG16代码层数高,filter数目大致呈指数递增,所以,训练时间非常长,一晚上才3batch,见没收敛就停了。
ResNet18,使用残差,filter数目较小,虽然比原始网络复杂,但是算力跟的上,acc效果非常好
我看了别人的:利用paddlepaddle中的resnet网络训练人脸验证1:1
其中"input_size","batch_size"均改了,net那个函数,返回没有加softmax层,我参考原有网络手动加了
原有网络大致acc:0.65,resNet18现在EPOCH是3,都已经0.59+,有望打败原有网络

2
#4wudenggang0回复于2019-11

网络结构:计算每层网络结构和输入输出尺寸和参数个数。不加BN?更深?每层的尺寸变化?更多结构?

不考虑BATCH_SIZE且只考虑前向过程的情况下,输入images尺寸为[3,32,32],因为图片为RGB三通道,宽和高均为32。第一卷积池化层参数包括w:[20,3,5,5],b:[20],其中20为当层卷积核个数(通道数),3为输入images通道个数(前层通道数),5×5为卷积核大小,第一卷积池化层后的Batchnorm参数包括w:[20],b:[20],因为第一卷积池化层有20个通道。Batchnorm会把按通道计算均值和方差来进行正则化。类似,第二卷积池化层参数包括w:[50,20,5,5],b:[50],第二卷积池化层后的Batchnorm参数包括w:[50],b:[50],第三卷积池化层参数包括w:[50,50,5,5],b:[50],全连接层w:[50,10],b:[10]。因为是10分类,输出层尺寸为[10]。optimizer.minimize(avg_cost)函数输出为元组(optimize_ops, params_grads),其中params_grads是一个由(param, grad)变量对组成的列表,param是Parameter,即参数,grad是该Parameter对应的梯度值。

5
#3liushuo008回复于2019-11
#2 sfy123home回复
我觉得好像发布文章有错别字。   『评论有奖:按照评论时间从早到晚的顺序,将抽取第5、10、15、20、25、30、35、40、45、50层同学分别获得招财雄1个。』   『招财雄』=》『招财熊?』
展开

感谢反馈,已经修改

0
#2sfy123home回复于2019-11

我觉得好像发布文章有错别字。   『评论有奖:按照评论时间从早到晚的顺序,将抽取第5、10、15、20、25、30、35、40、45、50层同学分别获得招财雄1个。』   『招财雄』=》『招财熊?』

0
快速回复
TOP
切换版块