BatchNorm权重初始化
ndfrerf 发布于2020-05-25 20:18 浏览:117 回复:1
0
收藏

请问class paddle.fluid.dygraph.BatchNorm(num_channels, act=None, is_test=False, momentum=0.9, epsilon=1e-05, param_attr=None, bias_attr=None, dtype='float32', data_layout='NCHW', in_place=False, moving_mean_name=None, moving_variance_name=None, do_model_average_for_mean_and_var=False, use_global_stats=False, trainable_statistics=False)这个BN层不是只有gamma和beta参数?为什么还需要param_attr和bias_attr进行权重初始化呢?如果没有设置那两个,是不是就默认gamma=1,beta=0了呢?还是说想要gamma=1,beta=0还需要进行初始化呢?

收藏
点赞
0
个赞
共1条回复 最后由鹿鼎记肯定回复于2020-05-25 21:53
#2鹿鼎记肯定回复于2020-05-25 21:53:34

γ和β是学习的参数,不会默认。

param_attr和bias_attr可以先不用管,影响也不大。

如果想权重初始化,用默认的参数就能有很好的效果

0
TOP
切换版块