关于所谓的"模型复现"
满城yan火 发布于2021-09-05 浏览:195 回复:12
0
收藏

发现这个社区经常将模型复现等价于把网络结构搭出来,而不管训练能不能达到类似的精度,直接从其他框架移植权重O(∩_∩)O

收藏
点赞
0
个赞
共12条回复 最后由skywalk163回复于2021-09-10
#13skywalk163回复于2021-09-10

精度对齐我们一直都很重视的。精度超过的也不少。

 

 

0
#12FutureSI回复于2021-09-07
#10 鎏孬回复
有的层实现会有些区别,tf和pytorch的也不会完全一样。还有的是精度转换的损失
展开

哦,那应该是比较特殊的api吧。基本的卷积、全连接、正则化行为倒是一致的。一般也都是用float32精度。除非新模型的改进比较底层

0
#11FutureSI回复于2021-09-07
#9 深渊上的坑回复
会不会是转换过程中的问题?

也许这就是直接转换不成,所以搞模型搭建式的复现的原因吧。毕竟用api重新搭建,方便一层一层的对齐输出,定位问题。

0
#10鎏孬回复于2021-09-06
#8 FutureSI回复
只是好奇,如果权重是直接转换过来的怎么会精度对不齐呢?除非超参的问题

有的层实现会有些区别,tf和pytorch的也不会完全一样。还有的是精度转换的损失

0
#9深渊上的坑回复于2021-09-06
#8 FutureSI回复
只是好奇,如果权重是直接转换过来的怎么会精度对不齐呢?除非超参的问题

会不会是转换过程中的问题?

0
#8FutureSI回复于2021-09-06

只是好奇,如果权重是直接转换过来的怎么会精度对不齐呢?除非超参的问题

0
#7FutureSI回复于2021-09-06

弄一遍很是锻炼身体,能长肌肉,哈哈

0
#6FutureSI回复于2021-09-06

一层一层弄精度对齐是个力气活儿啊~~

0
#5深渊上的坑回复于2021-09-05
#4 深渊上的坑回复
不过如果是挂在aistudio上面的项目,有的可能没那么讲究

网络复现出来就可以加精品了,剩下的要靠众人拾柴……

0
#4深渊上的坑回复于2021-09-05

不过如果是挂在aistudio上面的项目,有的可能没那么讲究

0
#3深渊上的坑回复于2021-09-05

貌似精度要达到多少多少,才能瓜分论文复现的奖金来着

0
#2深渊上的坑回复于2021-09-05

官方那个模型复现交付物有要求的吧

0
快速回复
TOP
切换版块