dygraph的FC是不是有bug?
chenyh2009cyh 发布于2020-02 浏览:548 回复:1
0
收藏

从官方的github clone了dygraph的transformer

发现不能用里面的Linear,用FC代替了,还做了一点点其他修改

模型用的是wmt16_ende_data_bpe_clean

单独测试encoder和decoder的时候没问题,但是组合到一起的时候,每次都会在不同的FC层出问题

想请教一下

出问题的模型,我已经设置为公开,训练集为wmt16_ende_data_bpe_clean.tar.gz。没有打包进去,需要弄一下

收藏
点赞
0
个赞
共1条回复 最后由chenyh2009cyh回复于2020-02
#2chenyh2009cyh回复于2020-02

是multi attention下的FC,每次都会停在不同的fc 上

0
TOP
切换版块