Ta的回复 ：01班-陈洪银 1、网络结构：计算每层网络结构和输入输出尺寸和参数个数。不加BN？更深？每层的尺寸变化？更多结构？ 输入输出尺寸：（不包含批量维度） 初始状态：3*32*32 图片 第一个卷积层，20 * 28 * 28 （28 = 32 - （5 - 1）） 最大池化后：20*14*14 参数个数：20x(5x5x3 + 1) = 1520 第二个卷积层，50 * 10 * 10 （10 = 14 - （5-1）） 最大池化后：50*5*5 参数个数：50x(5x5x20 + 1) 第三个卷积层：50 * 1 * 1 （1 = 5 - （5 -1）） 最大池化后 50*1*1 参数个数：50x(5x5x50 + 1) 输出 全连接 10 个概率值 参数个数：50x(10+1) 带BN的效果： [图片] 不加BN的效果： [图片] 加BN的好处 局部响应归一化层 较大的学习率，使得训练速度增长很快，具有快速收敛性 使得系统不那么依赖初始值 一定程度上抑制过拟合 尝试修改了一种网络深度： img.shape: (-1, 3, 32, 32) conv_pool_1.shape: (-1, 20, 14, 14) conv_pool_2.shape: (-1, 50, 6, 6) conv_pool_3.shape: (-1, 50, 2, 2) conv_pool_4.shape: (-1, 50, 1, 1) conv_pool_5.shape: (-1, 10) prediction.shape: (-1, 10) 效果变差 [图片] 2、尝试不同的Loss函数和优化算法（SGD、Momentum、Adagrad、Adam），观察效果的变化，最好的选择是什么？为什么？ 分类问题，交叉熵损失函数最合适 Adam优化算法最好，原因：中和了其他几种优化算法的优点，在训练过程中，每个参数有不同的学习率和Momentum，提升了模型训练的稳定性 3、尝试不同的样本数量：随着每个类别样本数量由少变多，模型准确率变化的曲线是怎样的？每个类别至少有多少张图片可支撑一个准确率尚可的模型？ 使用图像分类模型识别世界的万事万物是否可行？（自己编写数据读取程序，而不用默认函数；先完成同学可以在班级群内推送代码，供同学们参考） 从有500以上样本，可以获取不错的准确值 4、使用模型实践：拍一些身边宠物狗的照片（或网上找），处理成32*32尺寸后试试模型效果，准或不准的原因是什么？ 效果一般，猜测原因是分辨率过低，导致特征无法有效的被模型识别出来