通过服务网卡私网访问千帆ModelBuilder服务
千帆ModelBuilder支持服务网卡挂载,您可以将千帆ModelBuilder的公共服务映射到私有网络VPC(Virtual private Cloud)内部,实现在VPC内部或通过内网便捷、安全地访问这些服务,避免通过公网访问服务所带来的安全风险。
- 场景:VPC内部或者通过搭建混合云网络,实现在内网访问千帆服务。
- 限制:千帆ModelBuilder服务支持HTTP协议和固定终端节点,暂不支持HTTPS协议和自定义终端节点
- 支持地域:北京、保定、苏州、广州
地域 | 服务名称 |
---|---|
北京 | qianfan.bj.baidubce.com |
保定 | qianfan.bd.baidubce.com |
苏州 | qianfan.su.baidubce.com |
广州 | qianfan.gz.baidubce.com |
方案说明
- 新建VPC私有网络或者选择默认/已有的VPC网络。
- 根据访问需求,按照最小化访问权限原则,配置安全组策略。
- 在选定的VPC内创建服务网卡,并挂载千帆ModelBuilder服务,同时,选择安全组策略。
- 在同地域的同VPC内,使用主机访问创建完成的千帆服务,验证是否为内网访问。
- 如需要搭建混合云网络,可通过专线连接、VPN连接实现用户内网与百度云VPC网络联通,进一步实现内网访问千帆ModelBuilder服务。
步骤
以下以在北京地域下新建VPC网络,通过服务网卡,将千帆ModelBuilder服务挂载到VPC内部为例,实现在VPC内网访问千帆模型推理服务。
1. 新建VPC网络
选择北京地域,在VPC产品中,新建VPC网络,选择私网地址,本文以10.0.0.0私网网段为例。同时,创建对应的私网的子网网段。如有IPv6地址使用需求,则开启IPv6的网段。
根据客户的子网划分规划,配置子网
VPC及子网创建成功
2. 配置安全组策略
由于千帆ModelBuilder挂载的服务网卡提供为HTTP服务,需要在默认安全组增加一条允许HTTP的入站规则,访问源IP根据需要进行配置。在下图中,未对访问源限制,即VPC内的机器都可以访问80端口。
3. 创建服务网卡挂载千帆服务
在VPC产品的服务网卡中,新建服务网卡,选择挂载公共服务为千帆ModelBuilder,VPC及子网选择前后需保持一致,并选择上述配置的安全组。
创建完成后,服务网卡对应的千帆服务名称为qianfan.bj.baidubce.com,访问该服务的域名需要增加SNIC前缀,即snic.qianfan.bj.baidubce.com。
4. 验证服务网卡是否创建成功
在同一个地域、同一个可用区、同一个VPC下子网,创建一台云服务器BCC(Baidu Cloud Compute)
在BCC的控制台,远程登录BCC主机,通过ping snic.qianfan.bj.baidubce.com测试创建的千帆服务是否网络可达。
ping该域名能够返回该千帆服务网卡的私网地址,如本例中的10.0.0.2,则说明网络可达。
使用Curl命令,根据千帆OpenAPI接口,访问其对应的推理服务。通过Curl访问千帆ModelBuilder的推理接口,接口能够成功返回推理内容,说明千帆服务网卡能够正常在VPC内部提供服务。
请求示例如下:
ping snic.${服务网卡的服务名称}
curl -v --location 'http://snic.${服务网卡的服务名称}/v2/chat/completions' \
--header 'Authorization: Bearer ${api-key}' \
--data '{
"messages": [
{
"role": "user",
"content": "1+1等于几"
}
],
"model": "deepseek-v3",
"stream": true
}'
5. 搭建混合云网络
上述步骤已经完成VPC内部挂载千帆ModelBuilder服务,您可以根据实际网络情况,通过VPC网络提供的网络专线、VPN网关、对等连接等网络连接方式,打造混合云网络或者不同VPC之间内部互访,避免通过公网访问服务所带来的安全风险。