ubuntu服务器同时不能运行2个模型~~附代码
熬夜的白帽 发布于2018-12-20 21:35 浏览:165 回复:9
0
收藏
最后编辑于2019-01-11

运行环境:实验室服务器是4tian xp,安装ubuntu 16.04   同时运行的多个docker 容器,paddle版本是paddle-gpu  1.2.0 .post97  ,远程用pycharm运行

遇到问题:编写的unet网络,然后在CPUPlace下可以运行,CUDAPlace模型下,如果gpu其中一块有一块运行就报错 

                    paddle.fluid.core.EnforceNotMet: Enforce failed.

                    如果4块显卡均没有运行程序的话,paddle代码可以正常运行的

                    CUDAPlace是传入的0   然后4块显卡   其他机器运行的tensorflow代码是用的显卡编号为2 

其他:测试多个tensorflow模型用不同显卡可以同时运行的

            如果CUDAPlace是传入的1是调用 显卡编号为1的卡

 

 

 

 

 

 

收藏
点赞
0
个赞
共9条回复 最后由梦若隐编辑于2019-01-11 17:35
#10梦若隐回复于2019-01-05 18:24:08
#9 梦若隐回复
感觉也没问题啊,不过http://www.paddlepaddle.org/documentation/docs/zh/1.2/user_guides/howto/training/single_node.html 在这里提到执行多卡训练可以使用 fluid.ParallelExecutor 运行训练 fluid.Program,搂着可以看下是否开启`ParallelExecutor `, 最后,提醒下楼主可以把代码段删了
展开

我百度加你好友,贴吧客户端聊下

0
#9梦若隐回复于2019-01-05 18:23:14
#8 熬夜的白帽回复
代码没问题的  是paddle的问题   在启动的时候  有几个gpu就要耗几个gpu的200mb显存  如果其他gpu在运行代码  paddle就启动失败
展开

感觉也没问题啊,不过http://www.paddlepaddle.org/documentation/docs/zh/1.2/user_guides/howto/training/single_node.html

在这里提到执行多卡训练可以使用 fluid.ParallelExecutor 运行训练 fluid.Program,搂着可以看下是否开启`ParallelExecutor `,

最后,提醒下楼主可以把代码段删了

0
#8熬夜的白帽回复于2019-01-05 18:19:26
#7 梦若隐回复
感觉也没问题啊

代码没问题的  是paddle的问题   在启动的时候  有几个gpu就要耗几个gpu的200mb显存  如果其他gpu在运行代码  paddle就启动失败

0
#7梦若隐回复于2019-01-05 18:16:33
#6 熬夜的白帽回复
已上传

感觉也没问题啊

0
#6熬夜的白帽回复于2019-01-04 11:29:28
#4 梦若隐回复
楼主方便分享下unet的paddle实现代码段嘛,就是主干网络那份部分代码
展开

已上传

0
#5熬夜的白帽回复于2019-01-04 11:23:51
#4 梦若隐回复
楼主方便分享下unet的paddle实现代码段嘛,就是主干网络那份部分代码
展开

嗯嗯  好的   我等会上传一份

0
#4梦若隐回复于2018-12-30 21:34:17

楼主方便分享下unet的paddle实现代码段嘛,就是主干网络那份部分代码

0
#3qqqw151回复于2018-12-27 22:30:07
#2 熬夜的白帽回复
我知道原因了 ,可是还是没有解决,CUDA_VISIBLE_DEVICES设置了还是无效,我也尝试了在代码中import os 然后设置os.environ["CUDA_VISIBLE_DEVICES"] = "0",想不懂的是为什么paddle单卡运行  居然要把所有显卡的显存都占一点,代码和显卡显存占用如下: [代码] [图片]
展开

学习了,楼主好分享

0
#2熬夜的白帽回复于2018-12-21 01:40:26

我知道原因了 ,可是还是没有解决,CUDA_VISIBLE_DEVICES设置了还是无效,我也尝试了在代码中import os 然后设置os.environ["CUDA_VISIBLE_DEVICES"] = "0",想不懂的是为什么paddle单卡运行  居然要把所有显卡的显存都占一点,代码和显卡显存占用如下:

# use GPU
place = fluid.CUDAPlace(0)
# creat executor
exe = fluid.Executor(place)
# init executor
exe.run(fluid.default_startup_program())

0
TOP
切换版块