资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

获取数据集版本列表

功能介绍

本接口用于查询某数据集的版本列表。

使用说明

本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程

SDK调用

调用示例

import os
from qianfan  import resources

# 通过环境变量初始化认证信息
# 使用安全认证AK/SK调用,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk,如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"



resp = resources.console.utils.call_action(
    # 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
    "/v2/dataset", 
    # 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
    "DescribeDatasetVersions", 
    # 对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
    {
        "datasetId": "ds-xxx",
        "marker": "",
        "maxKeys": 2,
        "pageReverse": False
    }
)

print(resp.body)
package main

import (
    "context"
    "fmt"
    "os"

    "github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)

func main() {
     // 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
    os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
    os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
    
    ca := qianfan.NewConsoleAction()
    
    res, err := ca.Call(context.TODO(),
    // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
    "/v2/dataset",
    // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
    "DescribeDatasetVersions",
    // 对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
    map[string]interface{}{
                "datasetId": "ds-xxx",
                "marker": "",
                "maxKeys": 2,
                "pageReverse": false,
    })
    if err != nil {
        panic(err)
    }
    fmt.Println(string(res.Body))
    
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;

public class Dome {
    public static void main(String args[]){
        // 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
        Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
        
        ConsoleResponse<Map<String, Object>> response = qianfan.console()
                // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
                .route("/v2/dataset")
                // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
                .action("DescribeDatasetVersions")
                // 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
                // Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
                // 对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
                .body(CollUtils.mapOf(
                        "datasetId", "ds-xxx",
                        "marker", "",
                        "maxKeys", 2,
                        "pageReverse", false
                ))
                .execute();

        System.out.println(Json.serialize(response));
    }
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";

// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');

async function main() {
  //base_api_route:调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
  //action:调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
  //data:对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
  const res = await consoleAction({base_api_route: '/v2/dataset', action: 'DescribeDatasetVersions', data: {
        "datasetId": "ds-xxx",
        "marker": "",
        "maxKeys": 2,
        "pageReverse": false
    }
  });    
    
  console.log(res);
}

main();

返回示例

{
	"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": True,
			"nextMarker": "ds-xxx", // 下次请求使用的marker
            "pageReverse": False
		},
        "datasetId": "dg-xxx",
        "datasetName": "helloDatasetDetail",
        "dataFormat": "PromptResponse",
		"datasetVersions": [
            {
                "versionId": "ds-ck73i9r6423t1rzm",
                "versionNumber": 1,
                "description": "",
                "storageType": "sysStorage",
                "sizeMB": 0.05,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 21:29:44",
                "modifyTime": "2024-07-24 21:29:50"
            },
            {
                "versionId": "ds-yx9ajxk2s80m84m4",
                "versionNumber": 2,
                "description": "",
                "storageType": "BOS",
                "storagePath": "bos:/{your_bucket}/{you_dir}",
                "sizeMB": 0.02,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 23:12:43",
                "modifyTime": "2024-07-24 23:13:35"
            }
		]
	}
}
{
	"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": true,
			"nextMarker": "ds-xxx", // 下次请求使用的marker
            "pageReverse": false
		},
        "datasetId": "dg-xxx",
        "datasetName": "helloDatasetDetail",
        "dataFormat": "PromptResponse",
		"datasetVersions": [
            {
                "versionId": "ds-ck73i9r6423t1rzm",
                "versionNumber": 1,
                "description": "",
                "storageType": "sysStorage",
                "sizeMB": 0.05,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 21:29:44",
                "modifyTime": "2024-07-24 21:29:50"
            },
            {
                "versionId": "ds-yx9ajxk2s80m84m4",
                "versionNumber": 2,
                "description": "",
                "storageType": "BOS",
                "storagePath": "bos:/{your_bucket}/{you_dir}",
                "sizeMB": 0.02,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 23:12:43",
                "modifyTime": "2024-07-24 23:13:35"
            }
		]
	}
}
{
	"requestId": "1bef3f87-c5b2-4419-936b-50f9884f10d4",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": true,
			"nextMarker": "ds-xxx", // 下次请求使用的marker
            "pageReverse": false
		},
        "datasetId": "dg-xxx",
        "datasetName": "helloDatasetDetail",
        "dataFormat": "PromptResponse",
		"datasetVersions": [
            {
                "versionId": "ds-ck73i9r6423t1rzm",
                "versionNumber": 1,
                "description": "",
                "storageType": "sysStorage",
                "sizeMB": 0.05,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 21:29:44",
                "modifyTime": "2024-07-24 21:29:50"
            },
            {
                "versionId": "ds-yx9ajxk2s80m84m4",
                "versionNumber": 2,
                "description": "",
                "storageType": "BOS",
                "storagePath": "bos:/{your_bucket}/{you_dir}",
                "sizeMB": 0.02,
                "sampleCount": 35,
                "characterCount": 111,
                "annotationProgress": "35/35",
                "importStatus": "Importing",
                "publishStatus": "Unpublished",
                "creator":"accountName",
                "createTime": "2024-07-24 23:12:43",
                "modifyTime": "2024-07-24 23:13:35"
            }
		]
	}
}
{
	requestId: '1bef3f87-c5b2-4419-936b-50f9884f10d4',
	result: {
		pageInfo: {
			marker: '',
			maxKeys: 2,
			isTruncated: true,
			nextMarker: 'ds-xxx', // 下次请求使用的marker
            pageReverse: false
		},
        datasetId: 'dg-xxx',
        datasetName: 'helloDatasetDetail',
        dataFormat: 'PromptResponse',
		datasetVersions: [
            {
                versionId: 'ds-ck73i9r6423t1rzm',
                versionNumber: 1,
                description: '',
                storageType: 'sysStorage',
                sizeMB: 0.05,
                sampleCount: 35,
                characterCount: 111,
                annotationProgress: '35/35',
                importStatus: 'Importing',
                publishStatus: 'Unpublished',
                creator:'accountName',
                createTime: '2024-07-24 21:29:44',
                modifyTime: '2024-07-24 21:29:50'
            },
            {
                versionId: 'ds-yx9ajxk2s80m84m4',
                versionNumber: 2,
                description: '',
                storageType: 'BOS',
                storagePath: 'bos:/{your_bucket}/{you_dir}',
                sizeMB: 0.02,
                sampleCount: 35,
                characterCount: 111,
                annotationProgress: '35/35',
                importStatus: 'Importing',
                publishStatus: 'Unpublished',
                creator:'accountName',
                createTime: '2024-07-24 23:12:43',
                modifyTime: '2024-07-24 23:13:35'
            }
		]
	}
}

请求参数

名称 类型 必填 描述
datasetId string 查询的数据集ID,示例:dg-xxx,说明:通过调用创建数据集接口,返回的datasetId字段获取
marker string 本次查询的起始位置,第一条查询该字段设为空
maxKeys int 请求列表长度,最大为100,默认值是10,如果指定的值大于100,按100操作
pageReverse bool 是否倒序,默认否,即按照版本创建时间顺序排列
filter object 筛选条件,说明:
(1)支持根据导入状态和发布状态进行筛选,对应Key为importStatusList和publishStatusList
(2)示例:{"importStatusList": ["Importing", "ImportFailed"], "publishStatusList":["Unpublished"]}

filter说明

名称 类型 必填 描述
importStatusList List<string> 根据导入状态进行筛选,可选值如下:
· 新建:Created
· 导入中:Importing
· 导入完成:ImportFinished
· 导入失败:ImportFailed
publishStatusList List<string> 根据发布状态进行筛选,可选值如下:
· 未发布:Unpublished
· 发布中:Publishing
· 已发布:Published
· 发布失败:PublishFailed

返回参数

名称 类型 描述
requestId string 请求ID
result object 数据集版本列表相关信息,请求成功时返回
code string 错误码,请求失败时返回
message string 错误信息,请求失败时返回

result说明

名称 类型 描述
pageInfo object 分页信息
datasetId string 数据集ID
datasetName string 数据集名称
dataFormat string 数据格式,说明:
· PromptResponse:表示Prompt+Response
· Role:表示Role(user+assistant)
· Text:表示纯文本
· DPO_PromptChosenRejected:表示DPO或SimPO数据格式
· KTO_PromptChosenRejected:表示KTO数据格式
· PromptSortedresponses:表示Prompt+多Response排序
· Prompt:表示Prompt集
· PromptImage:表示Prompt+图片
· PromptImageResponse:表示Prompt+Image+Response
datasetVersionCount int 数据集版本数量
datasetVersions List<datasetVersion> 数据集版本列表

pageInfo说明

名称 类型 描述
marker string 本次查询的起始位置,第一次传空
maxKeys int 返回数量
isTruncated bool 指明是否只返回了部分数据,false表示本次已经返回所有结果,true表示本次还没有返回所有结果
nextMarker string 当isTruncated为true时,才返回此项,作为下次查询marker的值
pageReverse bool 是否倒序,默认否,即按照版本创建时间顺序排列

datasetVersions说明

名称 类型 描述
versionId string 数据集版本ID
versionNumber int 数据集版本序号
description string 版本描述
storageType string 存储类型,说明:
· BOS:表示对象存储BOS
· sysStorage:表示平台共享存储
storagePath string 存储类型为对象存储BOS时,对应的完整存储路径
sizeMB float 数据集大小,单位为MB,例:0.01
sampleCount int 数据集样本数
annotationProgress string 数据集样本标注进度,示例:1/10
importStatus string 导入状态,说明:
· 新建:Created
· 导入中:Importing
· 导入完成:ImportFinished
· 导入失败:ImportFailed
publishStatus string 发布状态,说明:
· 未发布:Unpublished
· 发布中:Publishing
· 已发布:Published
· 发布失败:PublishFailed
creator string 创建人
createTime string 创建时间,格式:YYYY-MM-DD hh:mm:ss
modifyTime string 更新时间,格式:YYYY-MM-DD hh:mm:ss
上一篇
发布数据集版本
下一篇
获取数据集版本详情