如何自定义权重
euphraticas 发布于2020-05-15 23:17 浏览:226 回复:13
0
收藏
快速回复

我在一个batch的时候,得到一个loss,以及模型A,现在用loss计算出新的模型A参数暂时不更新,把新参数放进模型B,然后再计算loss,当然后续还有操作,然后得到一个新的loss,然后用这个loss再去更新模型A,我现在不知道paddle如何实现上面的这个中间参数如何取和放,可以参考哪些API来实现,或者案例

收藏
点赞
0
个赞
共13条回复 最后由euphraticas回复于2020-05-19 21:29
#14euphraticas回复于2020-05-19 21:29:35

按照第十行算梯度的时候,梯度为空数组

0
#13rose20135188回复于2020-05-18 09:12:55

收藏学习。

0
#12何必固執回复于2020-05-18 09:06:07

虽然自己没遇到这个问题,但是看看大佬的  以备不时之需。说不定哪天就遇到了

0
#11鹿鼎记肯定回复于2020-05-16 21:09:06
#10 euphraticas回复
可以这么理解

你可以把最后的所有层用concat连接一下就好,如果是按照通道连接的话axis=1即可

layer1 = fluid.layers.conv2d()

layer2 = fluid.layers.conv2d()

out = fluid.layers.concat([layer1, layer2], axis=1) 

API文档:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/layers_cn/concat_cn.html#concat

0
#10euphraticas回复于2020-05-16 16:59:35
#9 鹿鼎记肯定回复
你的意思是指网络中权值共享这一机制吗?比如前几层用网络a训练,中间用网络b训练,后面用网络c训练。
展开

可以这么理解

0
#9鹿鼎记肯定回复于2020-05-16 00:55:43
#8 euphraticas回复
文本分类

你的意思是指网络中权值共享这一机制吗?比如前几层用网络a训练,中间用网络b训练,后面用网络c训练。

0
#8euphraticas回复于2020-05-16 00:37:01
#6 鹿鼎记肯定回复
你是要做什么任务呢?

文本分类

0
#7euphraticas回复于2020-05-16 00:35:31

好的,谢谢,我试试

0
#6鹿鼎记肯定回复于2020-05-16 00:30:51

你是要做什么任务呢?

0
#5xiaohongyd回复于2020-05-16 00:19:30

是模型A与模型B 是串联在一起训练吗? 看看这个能否帮到你:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_guides/low_level/program.html#name

0
#4euphraticas回复于2020-05-15 23:55:27

模型A与模型B基本一致,只是有一层参数有区别

0
#3euphraticas回复于2020-05-15 23:54:05

谢谢,可能我没说清楚,是再一个epoch里面完成上述操作,这个API好像是模型的持久化,跟我的问题还是有些区别

0
#2xiaohongyd回复于2020-05-15 23:41:17

可以看看飞桨的API 模型保存与加载:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_guides/low_level/model_save_reader.html

0
TOP
切换版块