我记得relu一般加在bn层后面。这样做的好处是什么？
我也来学习一下
就是所谓“预激活网络”
resnet2.0版本里就是先激活再bn的
嗯，现在我也搞明白了
https://www.zhihu.com/question/283715823
这篇知乎上就提到实践证明，BN加在Relu之后效果会更好
好像有论文争论过这一点。
当然主流还是放在激活函数前
BN将神经元的输出从饱和区拉到非饱和区，在进入激活函数可以缓解梯度消失和梯度爆炸，放在后面有什么用
加在relu前能增加激活的神经元数量么？
和relu有关系么？加在relu能减少神经元死亡？
其他激活函数用把bn层放前面么？
bn层帮助模型收敛，改善梯度问题。加在激活函数前有什么好处？
我记得课上老师提过大家都这么用。
我也来学习一下
就是所谓“预激活网络”
resnet2.0版本里就是先激活再bn的
嗯，现在我也搞明白了
https://www.zhihu.com/question/283715823
这篇知乎上就提到实践证明，BN加在Relu之后效果会更好
好像有论文争论过这一点。
当然主流还是放在激活函数前
BN将神经元的输出从饱和区拉到非饱和区，在进入激活函数可以缓解梯度消失和梯度爆炸，放在后面有什么用
加在relu前能增加激活的神经元数量么？
和relu有关系么？加在relu能减少神经元死亡？
其他激活函数用把bn层放前面么？
bn层帮助模型收敛，改善梯度问题。加在激活函数前有什么好处？
我记得课上老师提过大家都这么用。