查询支持批量推理模型清单

更新时间：2025-01-10

功能介绍

使用说明

本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用，调用流程请参考SDK安装及使用流程。

权限说明

调用本文API，需符合以下权限要求，权限介绍及分配，请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限：

完全控制千帆大模型平台的权限：QianfanFullControlAccessPolicy
运维操作千帆大模型平台预测服务的权限：QianfanServiceOperateAccessPolicy
只读访问千帆大模型平台预测服务的权限：QianfanServiceReadAccessPolicy

SDK调用

调用示例

import os
from qianfan  import resources

# 通过环境变量初始化认证信息
# 使用安全认证AK/SK调用，替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk，如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
os.environ["QIANFAN_ACCESS_KEY"] = "your_access_key"
os.environ["QIANFAN_SECRET_KEY"] = "your_secret_key"

resp = resources.console.utils.call_action(
    # 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
    "/v2/batchinference", 
    # 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
    "DescribeBatchInferenceModel", 
    # 请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
    {
      
    }
)
print(resp.body)

package main

import (
    "context"
    "fmt"
    "os"

    "github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)

func main() {
     // 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
    os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
    os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
    
    ca := qianfan.NewConsoleAction()
    
    res, err := ca.Call(context.TODO(), 
     // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
    "/v2/batchinference",
    // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
     "DescribeBatchInferenceModel",
     // 请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
      map[string]interface{}{
        
    })
    if err != nil {
        panic(err)
    }
    fmt.Println(string(res.Body))
    
}

import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;

public class Dome {
    public static void main(String args[]){
        // 使用安全认证AK/SK鉴权，替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
        Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
        
        ConsoleResponse<Map<String, Object>> response = qianfan.console()
                // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
                .route("/v2/batchinference")
                // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
                .action("DescribeBatchInferenceModel")
                // 需要传入参数的场景，可以自行封装请求类，或者使用Map.of()来构建请求Body
                // Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
                // 请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
                .body(CollUtils.mapOf(
                   
                ))
                .execute();

        System.out.println(Json.serialize(response));
    }
}

import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";

// 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');

async function main() {
  //base_api_route:调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
  //action:调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
  //data:请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
  const res = await consoleAction({base_api_route: '/v2/batchinference', action: 'DescribeBatchInferenceModel', data: {});    
    
  console.log(res);
}

main();

返回示例

{
	"requestId": "0df5ce1e-4ff3-4633-81b9-bce594d18927",
	"result": {
		"commonModelList": [{
			"modelId": "am-xdxxxxxxxu",
			"modelName": "Aquila-7B",
			"modelVersionList": [{
				"modelVersionId": "amv-byxxxxxxxiw",
				"modelVersionName": "AquilaChat-7B"
			}]
		}, {
			"modelId": "am-u7xxxxxxxsq",
			"modelName": "BLOOMZ-7B",
			"modelVersionList": [{
				"modelVersionId": "amv-tzxxxxxxxp",
				"modelVersionName": "BLOOMZ-7B"
			}, {
				"modelVersionId": "amv-duxxxxxxzq",
				"modelVersionName": "Qianfan-BLOOMZ-7B-compressed"
			}]
		}],
		"customModelList": null
	}
}

{
	"requestId": "0df5ce1e-4ff3-4633-81b9-bce594d18927",
	"result": {
		"commonModelList": [{
			"modelId": "am-xdxxxxxxxu",
			"modelName": "Aquila-7B",
			"modelVersionList": [{
				"modelVersionId": "amv-byxxxxxxxiw",
				"modelVersionName": "AquilaChat-7B"
			}]
		}, {
			"modelId": "am-u7xxxxxxxsq",
			"modelName": "BLOOMZ-7B",
			"modelVersionList": [{
				"modelVersionId": "amv-tzxxxxxxxp",
				"modelVersionName": "BLOOMZ-7B"
			}, {
				"modelVersionId": "amv-duxxxxxxzq",
				"modelVersionName": "Qianfan-BLOOMZ-7B-compressed"
			}]
		}],
		"customModelList": null
	}
}

{
	"requestId": "0df5ce1e-4ff3-4633-81b9-bce594d18927",
	"result": {
		"commonModelList": [{
			"modelId": "am-xdxxxxxxxu",
			"modelName": "Aquila-7B",
			"modelVersionList": [{
				"modelVersionId": "amv-byxxxxxxxiw",
				"modelVersionName": "AquilaChat-7B"
			}]
		}, {
			"modelId": "am-u7xxxxxxxsq",
			"modelName": "BLOOMZ-7B",
			"modelVersionList": [{
				"modelVersionId": "amv-tzxxxxxxxp",
				"modelVersionName": "BLOOMZ-7B"
			}, {
				"modelVersionId": "amv-duxxxxxxzq",
				"modelVersionName": "Qianfan-BLOOMZ-7B-compressed"
			}]
		}],
		"customModelList": null
	}
}

{
	requestId: '0df5ce1e-4ff3-4633-81b9-bce594d18927',
	result: {
		commonModelList: [{
			modelId: 'am-xdxxxxxxxu',
			modelName: 'Aquila-7B',
			modelVersionList: [{
				modelVersionId: 'amv-byxxxxxxxiw',
				modelVersionName: 'AquilaChat-7B'
			}]
		}, {
			modelId: 'am-u7xxxxxxxsq',
			modelName: 'BLOOMZ-7B',
			modelVersionList: [{
				modelVersionId: 'amv-tzxxxxxxxp',
				modelVersionName: 'BLOOMZ-7B'
			}, {
				modelVersionId: 'amv-duxxxxxxzq',
				modelVersionName: 'Qianfan-BLOOMZ-7B-compressed'
			}]
		}],
		customModelList: null
	}
}

请求参数

无

返回参数

名称	类型	描述
requestId	string	请求ID
result	object[]	请求结果

result说明

名称	类型	描述
commonModelList	List<modelItem>	预置模型（服务）列表
customModelList	List<modelItem>	定制模型列表

modelItem说明

名称	类型	描述
modelId	string	模型ID
modelName	string	模型名称
modelVersionList	object[]	模型版本列表
modelVersionId	string	模型版本ID
modelVersionName	string	模型版本名称

删除批量推理任务

TPM配额管理