有没有用LodTensor实现attention
N浀循环 发布于2020-05-08 17:25 浏览:157 回复:2
0
收藏

最近尝试采用LodTensor实现attention,发现官方给的例子都是padding后矩阵乘法实现的。

尝试了使用LodTensor实现,发现有个问题,一个batch的数据是一个[T,D]的形状的一维LodTensor,

而attention要求的应该是类似多个[n1,D],[n2,D]...进行内积等操作,没有找到好的解决方法

有没有人尝试过用LodTensor实现attention

收藏
点赞
0
个赞
共2条回复 最后由鹿鼎记肯定回复于2020-05-10 10:47
#3鹿鼎记肯定回复于2020-05-10 10:47:01

可以把LoDTensor先转成Tensor,针对LoDTensor的教程还比较少

0
#2xiaohongyd回复于2020-05-09 20:50:27

这个...-_-||    还是到paddle的GitHub上问问看吧:https://github.com/PaddlePaddle/Paddle/issues

0
TOP
切换版块