PaddlePaddle踩坑指北系列
置顶
AIStudio小助手 发布于2018-12-10 17:56 浏览:1205 回复:4
0
收藏
最后编辑于2019-05-11

 

本周我们精选出社区问答进行整理汇总,希望能帮助新用户在Linux安装过程中解答疑惑。

 
1.问题:cuda9.0需要安装哪一个版本的paddle,安装包在哪?
•    关键字:cuda 9.0
•    问题描述:cuda9.0需要安装哪一个版本的paddle,安装包在哪,希望安装Fluid版本的Paddle,而不是旧版的Paddle
•    问题解答:paddlepaddle-gpu使用CUDA 9.0和cuDNN 7编译的0.14.0版本
因此,pip install paddlepaddle-gpu即可。
可以参考安装说明文档:http://paddlepaddle.org/documentation/docs/zh/0.14.0/new_docs/beginners_guide/install/install_doc.html#linuxpaddlepaddle
 2.问题:pip install paddlepaddle-gpu 安装fluid 版本报错
•    关键字:GPU
•    问题描述:使用pip install paddlepaddle-gpu命令在公司内部开发GPU机器上安装PaddlePaddle,安装信息如下:

机器的CUDA信息如下:
按照官网安装:pip install paddlepaddle-gpu 执行import paddle.fluid as fluid 失败
奇怪的是,同样的环境下,上周运行成功,这周确运行失败,求解答
•    解决方法:这通常是GPU显存不足导致的,请检查一下机器的显存,确保显存足够后再尝试import paddle.fluid
3.问题:CUDA driver version is insufficient
•    关键字:CUDA insufficient
•    问题描述:在使用PaddlePaddle GPU的Docker镜像的时候,出现Cuda Error: CUDA driver version is insufficient for CUDA runtime version
•    问题解答:通常出现Cuda Error: CUDA driver version is insufficient for CUDA runtime version, 原因在于没有把机器上CUDA相关的驱动和库映射到容器内部。
•    解决方法:使用nvidia-docker, 命令只需要将docker换为nvidia-docker即可。更多请参考:https://github.com/NVIDIA/nvidia-docker
4.问题:安装CPU版本后训练主动abort,gdb显示Illegal instruction
•    关键字:CPU版本Illegal instruction
•    问题描述:成功安装了PaddlePaddle CPU版本后,使用Paddle训练模型,训练过程中,Paddle会自动退出,gdb显示Illegal instruction
•    报错输出:
*** Aborted at 1539697466 (unix time) try "date -d @1539697466" if you are using GNU date ***
PC: @               0x0 (unknown)
*** SIGILL (@0x7fe3a27b7912) received by PID 13005 (TID 0x7fe4059d8700) from PID 18446744072140585234; stack trace: ***
    @       0x318b20f500 (unknown)
    @     0x7fe3a27b7912 paddle::framework::VisitDataType<>()
    @     0x7fe3a279f84f paddle::operators::math::set_constant_with_place<>()
    @     0x7fe3a1e50c21 paddle::operators::FillConstantOp::RunImpl()
    @     0x7fe3a27526bf paddle::framework::OperatorBase::Run()
    @     0x7fe3a1ca31ea paddle::framework::Executor::RunPreparedContext()
    @     0x7fe3a1ca3be0 paddle::framework::Executor::Run()
    @     0x7fe3a1bc9e7d _ZZN8pybind1112cpp_function10initializeIZN6paddle6pybindL13pybind11_initEvEUlRNS2_9framework8ExecutorERKNS4_11ProgramDescEPNS4_5ScopeEibbE63_vIS6_S9_SB_ibbEINS_4nameENS_9is_methodENS_7siblingEEEEvOT_PFT0_DpT1_EDpRKT2_ENUlRNS_6detail13function_callEE1_4_FUNEST_
    @     0x7fe3a1c14c24 pybind11::cpp_function::dispatcher()
    @     0x7fe405acf3e4 PyEval_EvalFrameEx
    @     0x7fe405ad0130 PyEval_EvalCodeEx
    @     0x7fe405ace4a1 PyEval_EvalFrameEx
    @     0x7fe405ad0130 PyEval_EvalCodeEx
    @     0x7fe405ace4a1 PyEval_EvalFrameEx
    @    0x7fe405ad0130 PyEval_EvalCodeEx
    @     0x7fe405a5c181 function_call
    @     0x7fe405a340f3 PyObject_Call
    @     0x7fe405accde7 PyEval_EvalFrameEx
    @     0x7fe405acec56 PyEval_EvalFrameEx
    @     0x7fe405ad0130 PyEval_EvalCodeEx
    @     0x7fe405a5c27d function_call
    @     0x7fe405a340f3 PyObject_Call
    @     0x7fe405accde7 PyEval_EvalFrameEx
    @     0x7fe405ad0130 PyEval_EvalCodeEx
    @     0x7fe405a5c181 function_call
    @     0x7fe405a340f3 PyObject_Call
    @     0x7fe405a46f7f instancemethod_call
    @     0x7fe405a340f3 PyObject_Call
    @     0x7fe405a8abd4 slot_tp_call
    @     0x7fe405a340f3 PyObject_Call
    @     0x7fe405acd887 PyEval_EvalFrameEx
    @     0x7fe405acec56 PyEval_EvalFrameEx
•    问题解答:CPU版本PaddlePaddle自动退出的原因通常是因为所在机器不支持AVX2指令集而主动abort。简单的判断方法:用gdb-7.9以上版本(因编译C++文件用的工具集是gcc-4.8.2,目前只知道gdb-7.9这个版本可以debug gcc4编译出来的目标文件):
$ /path/to/gdb -iex "set auto-load safe-path /" -iex "set solib-search-path /path/to/gcc-4/lib" /path/to/python -c core.xxx
在gdb界面:
(gdb) disas
找到箭头所指的指令,例如:
  0x00007f381ae4b90d <+3101>: test   %r8,%r8
=> 0x00007f381ae4b912 <+3106>:  vbroadcastss %xmm0,%ymm1
  0x00007f381ae4b917 <+3111>: lea    (%r12,%rdx,4),%rdi
然后google一下这个指令需要的指令集。上面例子中的带xmm和ymm操作数的vbroadcastss指令只在AVX2中支持
然后看下自己的CPU是否支持该指令集
cat /proc/cpuinfo | grep flags | uniq | grep avx --color
如果没有AVX2,就表示确实是指令集不支持引起的主动abort
•    解决方法:如果没有AVX2指令集,就需要要安装不支持AVX2指令集版本的PaddlePaddle,默认安装的PaddlePaddle是支持AVX2指令集的,因为AVX2可以加速模型训练的过程,更多细节可以参考安装文档
http://www.paddlepaddle.org/documentation/docs/zh/1.0/beginners_guide/install/Start.html#paddlepaddle
5.问题:nvidia-docker运行镜像latest-gpu-cuda8.0-cudnn7: SIGILL
关键字:nvidia-docker cuda8.0 cudnn7
问题描述:使用sudo nvidia-docker run --name Paddle -it -v $PWD:/work hub.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda8.0-cudnn7 /bin/bash,安装成功后,出现如下问题
import paddle.fluid
*** Aborted at 1539682149 (unix time) try "date -d @1539682149" if you are using GNU date ***
PC: @ 0x0 (unknown)
*** SIGILL (@0x7f6ac6ea9436) received by PID 16 (TID 0x7f6b07bc7700) from PID 18446744072751846454; stack trace: ***
解决方法:请先确定一下机器是否支持AVX2指令集,如果不支持,请按照相应的不支持AVX2指令集的PaddlePaddle,可以解决该问题。
如果在这篇文章中没有得到您所遇到问题的解答时,请不要着急。我们将即可推出后续问题解答报道,敬请期待。

收藏
点赞
0
个赞
共4条回复 最后由liguanghui2588回复于2019-05-11 18:10
#5liguanghui2588回复于2019-05-11 18:10:20
#4 沙丁鱼06回复
运行deepspeech训练的时候,内存不断减少,逐渐耗尽系统的所有内存。这是什么原因?
展开

这个对内存有最低要求

0
#4沙丁鱼06回复于2019-02-09 21:46:03

运行deepspeech训练的时候,内存不断减少,逐渐耗尽系统的所有内存。这是什么原因?

0
#3超级小白和小明回复于2018-12-24 10:16:32

感谢分享

0
#2busyboxs回复于2018-12-11 22:29:21

哎呀,我还真找不着北了,感谢指出哈

0
TOP
切换版块