发起模型评估结果导出任务

更新时间：2025-01-14

功能介绍

用于创建模型评估结果导出任务。

使用说明

本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用，调用流程请参考SDK安装及使用流程。

权限说明

调用本文API，需符合以下权限要求，权限介绍及分配，请查看角色与权限控制列表、账号创建与权限分配。需具有以下任一权限：

完全控制千帆大模型平台的权限：QianfanFullControlAccessPolicy
完全控制千帆大模型平台模型调优的权限：QianfanModelTuningFullControlAccessPolicy

SDK调用

调用示例

import os
from qianfan  import resources

# 通过环境变量初始化认证信息
# 使用安全认证AK/SK调用，替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk，如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

resp = resources.console.utils.call_action(
    # 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
    "/v2/eval", 
    # 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
    "CreateEvalResultExportTask", 
    # 请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
    {
        "evalId": "ame-xvbi***dr1dr",
        "storageType": "sysStorage",
        "exportContent": [
            "prompt",
            "prediction",
            "completion",
            "metrics"
        ]
    }
)
print(resp.body)

package main

import (
    "context"
    "fmt"
    "os"

    "github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)

func main() {
     // 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
    os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
    os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
    
    ca := qianfan.NewConsoleAction()
    
    res, err := ca.Call(context.TODO(), 
     // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
    "/v2/eval",
    // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
     "CreateEvalResultExportTask",
     // 请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
      map[string]interface{}{
        "evalId": "ame-xvbi***dr1dr",
        "storageType": "sysStorage",
        "exportContent": []string{
            "prompt",
            "prediction",
            "completion",
            "metrics",
        },
    })
    if err != nil {
        panic(err)
    }
    fmt.Println(string(res.Body))
    
}

import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;

public class Dome {
    public static void main(String args[]){
        // 使用安全认证AK/SK鉴权，替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
        Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
        
        ConsoleResponse<Map<String, Object>> response = qianfan.console()
                // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
                .route("/v2/eval")
                // 调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
                .action("CreateEvalResultExportTask")
                // 需要传入参数的场景，可以自行封装请求类，或者使用Map.of()来构建请求Body
                // Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
                // 请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
                .body(CollUtils.mapOf(
                    "evalId", "ame-xvbi***dr1dr",
                    "storageType", "sysStorage",
                    "exportContent",new String[]{
                        "prompt",
                        "prediction",
                        "completion",
                        "metrics"
                    }
                ))
                .execute();

        System.out.println(Json.serialize(response));
    }
}

import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";

// 使用安全认证AK/SK鉴权，通过环境变量初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');

async function main() {
  //base_api_route:调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求结构-请求地址的后缀
  //action:调用本文API，该参数值为固定值，无需修改；对应API调用文档-请求参数-Query参数的Action 
  //data:请查看本文请求参数说明，根据实际使用选择参数；对应API调用文档-请求参数-Body参数
  const res = await consoleAction({base_api_route: '/v2/eval', action: 'CreateEvalResultExportTask', data: {
        "evalId": "ame-xvbi***dr1dr",
        "storageType": "sysStorage",
        "exportContent": [
            "prompt",
            "prediction",
            "completion",
            "metrics"
        ]
  });    
    
  console.log(res);
}

main();

返回示例

{
    "requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
    "result": {
        "taskId":"amemt-hxxxxxx4j8"
    }
}

{
    "requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
    "result": {
        "taskId":"amemt-hxxxxxx4j8"
    }
}

{
    "requestId": "81252b33-a63e-4231-93cb-8df1f2720a0d",
    "result": {
        "taskId":"amemt-hxxxxxx4j8"
    }
}

{
    requestId:'1bef3f87-c5b2-4419-936b-50f9884f10d4',
    result:{
        'taskId':'amemt-hxxxxxx4j8'
    }

请求参数

名称	类型	必填	描述
evalId	string	是	评估任务id，示例：ame-vwxxxxyhfv，说明：（1）可以通过以下方式获取该字段值：方式一，通过调用创建模型评估任务接口，返回的字段result获取方式二，在控制台-模型调优-模型评估，点击某评估任务名称打开详情页，在任务详情的基本信息中查看，如下图所示
storageType	string	是	导出类型，说明：（1）仅针对模型评估，用于存储评估过程中产生的推理结果集（2）可选值如下： · BOS：对象存储BOS · sysStorage：平台共享存储，不填默认是sysStorage
bucket	string	否	存储类型为对象存储BOS时，表示用户Bos的bucket名称
exportContent	string[]	是	导出内容，可选值如下： · prompt：prompt · prediction：预测结果 · completion：预期回答 · metrics：评估指标 · system：人设字段

返回参数

名称	类型	描述
requestId	string	请求ID，用于定位问题
code	string	错误码，接口报错时返回，HTTP状态码≥400
message	string	错误信息，接口报错时返回，HTTP状态码≥400
result	object	请求结果，接口请求成功时返回，HTTP状态码=200

result说明

名称	类型	描述
taskId	string	导出任务id

更新模型评估任务

查看模型评估结果导出任务详情