部署前环境检查(必看)
本文档介绍了百度鉴权服务及应用部署的硬件、网络、及软件环境要求,请您在部署前务必参考此文档进行硬件、网络、及软件环境检查,以避免在安装部署过程中出现问题。
硬件环境要求
若您仍然不确定硬件选型,请提交工单联系百度的工作人员
鉴权服务节点
名称 | 推荐 | 说明 |
---|---|---|
服务器 | 物理机、独享云服务器、虚拟机。 | CPU,网卡MAC,内存,显卡、磁盘等发生变化会影响指纹,进而影响鉴权。如果是共享云服务器,机器指纹可能会发生变化。如果您不得不使用云服务器,建议您使用独享云服务器。 |
CPU | AMD/Intel x86_64,核数8核(推荐) | 指令集必须支持bmi2和AVX ,可以通过该命令检查:lscpu | grep -E 'avx|bmi2' |
应用服务节点
名称 | 推荐 | 说明 |
---|---|---|
服务器 | 物理机、云服务器、虚拟机。 | |
linux桌面环境 | 部署GPU版本模型,需确保系统禁用linux桌面环境(包括但不限于"lightdm", "gdm", "kdm" 等) | 如未提前关闭,部署期间linux桌面环境将不可用 |
CPU | AMD/Intel x86_64,核数8核(推荐) | 指令集必须支持bmi2和AVX,可以通过该命令检查:lscpu | grep -E 'avx|bmi2' |
GPU | 目前支持型号包括: Tesla P40,Tesla T4, Tesla P4,GTX 1070, GTX 1080,GTX 1080 Ti,RTX2080, RTX3080等 | |
硬盘 | 测试建议>50G,生产建议>500G | |
内存 | 建议大于16G | 如果模型较多,需要增加内存。 |
网络环境要求
1、为了缩减包体积,控制台为您提供的私有化部署包为精简包,未包含应用镜像等必要文件。如果您的服务器可以联通外网,可以在服务器侧执行 bash download.sh
下载完整的安装包;如果不可联通外网,您可以在办公电脑提前下载好完整的部署包后,上传至服务器端。
2、当应用服务和鉴权服务分离部署时,鉴权服务器和应用服务器之前需相互开放8443端口;如果鉴权服务器有多台的话,鉴权服务器之间需相互开放 8443,7091,7092端口
3、静态IP地址已分配。假如网卡为eth0, 可以通过more /etc/sysconfig/network-scripts/ifcfg-eth0 |grep "BOOTPROTO="
命令查看,如果返回 BOOTPROTO=DHCP
,表示动态ip
软件环境要求
名称 | 说明 |
---|---|
操作系统 | Centos7、Ubuntu14 /16 /18、 Redhat7、 Suse12(未适配nvidia模块) 可以进入python解释器执行命令查询 import platform print(platform.dist()) |
Linux 内核 | >=3.10,可以通过uname -r命令查看 |
SELinux | 确保系统禁用SELinux ,可以通过getenforce命令查询,返回Disabled 表示禁用 |
CPU指令集 | 支持avx/avx2指令集以及bmi2指令集(必要条件) |
Python | ==2.7、3.6 |
curl | 确保机器存在curl命令 |
GLIBC | >=2.17,可以通过命令 ldd --version 查看 |
GLIBCXX | >=3.4.19 查询命令: ubuntu下执行 strings /usr/lib/x86_64-linux-gnu/libstdc++.so.* |grep GLIBCXX 其他操作系统执行 strings /usr/lib64/libstdc++.so.*|grep LIBCXX |
GCC | >=4.8.2,可以通过 gcc --version 查看 |
root权限 | 需要批准可使用root权限用户来部署 |
Docker | 系统是否自带Docker,如自带,需将docker版本号信息提供给技术支持同学评估 |
nvidia 驱动 | 系统是否已经安装nvidia驱动,可通过nvidia-smi查看,如已安装,请将该信息反馈给技术支持同学 |
nvidia-docker | 系统是否已经安装nvidia-docker,可通过nvidia-docker version查看,如已安装,请将该信息反馈给技术支持同学 |
环境检查工具
私有化部署环境依赖检查
私有化部署需要依赖特定的硬件条件和软件环境,在实际部署过程中经常会遇到各种环境依赖不满足的问题导致部署失败,排查时只能从部署日志中查找异常信息,效率比较低。环境检查工具可以让客户在部署前统一检查部署环境是否满足要求。
使用方法
1、环境检查工具已和私有化部署包进行了集成,安装AI应用前均会进行部署环境的检查,提高部署成功率。您也可以点击下载,获取工具包,提前进行环境检查。
2、环境检查的结论会在最后以The conclusion of environment checking is :fail/pass打印出来,fail表示环境检查未通过,pass表示环境检查通过; 未通过的检查项会以表格形式打印出来,检查结果示例如下图所示:
注:未通过的检查项表格列出了未通过检查项所属的模块、检查项名称、检查项含义、检查项应满足的要求、检查项实际结果或报错信息。检查项名称前带*的表示此检查项非强制要求。
3、环境检查完成后,
- 若环境检查通过,会自动继续部署
- 若环境检查未通过,可根据未通过项表格的提示自行排查,或将日志提供给EasyPack支持人员,日志位于original/package/Install/install.log下
- 磁盘空间、内存等检查项检查不通过时,可输入continue跳过环境检查继续安装(不推荐)