资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

获取数据集列表

功能介绍

本接口用于获取符合特定查询条件的数据集列表。

使用说明

本文API支持通过Python SDK、Go SDK、Java SDK 和 Node.js SDK调用,调用流程请参考SDK安装及使用流程

SDK调用

调用示例

import os
from qianfan  import resources

# 通过环境变量初始化认证信息
# 使用安全认证AK/SK调用,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk,如何获取请查看https://cloud.baidu.com/doc/Reference/s/9jwvz2egb
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"



resp = resources.console.utils.call_action(
    # 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
    "/v2/dataset", 
    # 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
    "DescribeDatasets", 
    # 对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
    {
        "marker": "",
        "maxKeys": 10,
        "pageReverse":True,
        "filter":{
            "dataFormatList": ["PromptResponse", "PromptImage"]
        }
    }
)

print(resp.body)
package main

import (
    "context"
    "fmt"
    "os"

    "github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)

func main() {
     // 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
    os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
    os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")
    
    ca := qianfan.NewConsoleAction()
    
    res, err := ca.Call(context.TODO(),
    // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
    "/v2/dataset",
    // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
    "DescribeDatasets",
    // 对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
    map[string]interface{}{
            "marker": "",
            "maxKeys": 10,
            "pageReverse":true,
            "filter":map[string]any{
                "dataFormatList": []string{"PromptResponse", "PromptImage"},
            }
    })
    if err != nil {
        panic(err)
    }
    fmt.Println(string(res.Body))
    
}
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.console.ConsoleResponse;
import com.baidubce.qianfan.util.CollUtils;
import com.baidubce.qianfan.util.Json;
import java.util.Map;

public class Dome {
    public static void main(String args[]){
        // 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
        Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
        
        ConsoleResponse<Map<String, Object>> response = qianfan.console()
                // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
                .route("/v2/dataset")
                // 调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
                .action("DescribeDatasets")
                // 需要传入参数的场景,可以自行封装请求类,或者使用Map.of()来构建请求Body
                // Java 8可以使用SDK提供的CollUtils.mapOf()来替代Map.of()
                // 对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数
                .body(CollUtils.mapOf(
                    "marker", "",
                    "maxKeys", 10,
                    "pageReverse",true,
                    "filter",CollUtils.mapOf(
                        "dataFormatList",new String[]{"PromptResponse", "PromptImage"}
                    )
                ))
                .execute();

        System.out.println(Json.serialize(response));
    }
}
import {consoleAction, setEnvVariable} from "@baiducloud/qianfan";

// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');

async function main() {

  //base_api_route:调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求地址的后缀
  //action:调用本文API,该参数值为固定值,无需修改;对应HTTP调用文档-请求说明-请求参数-Query参数的Action
  //data:对应HTTP调用文档-请求说明-请求参数-Body参数,具体使用请查看Body参数说明,根据实际使用选择参数

  const res = await consoleAction({base_api_route: '/v2/dataset', action: 'DescribeDatasets', data: {
        "marker": "",
        "maxKeys": 10,
        "pageReverse":true,
        "filter":{
            "dataFormatList": ["PromptResponse", "PromptImage"]
        }
    }
  });    
    
  console.log(res);
}

main();

返回示例

{
	"requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": False,
			"nextMarker": "dg-xxx", // 下次查询请求的marker参数
            "pageReverse": False
		},
		"datasets": [
            {
				"datasetId": "dg-xxx",
				"datasetName": "helloDatasetList1",
				"dataFormat": "PromptResponse"
			},
			{
				"datasetId": "dg-xxx",
				"datasetName": "helloDatasetList2",
				"dataFormat": "PromptImage"
			}
		]
	}
}
{
	"requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": false,
			"nextMarker": "dg-xxx", // 下次查询请求的marker参数
            "pageReverse": false
		},
		"datasets": [
            {
				"datasetId": "dg-xxx",
				"datasetName": "helloDatasetList1",
				"dataFormat": "PromptResponse"
			},
			{
				"datasetId": "dg-xxx",
				"datasetName": "helloDatasetList2",
				"dataFormat": "PromptImage"
			}
		]
	}
}
{
	"requestId": "b4f5f3f2-307e-41d6-5afc-a6708cfa286b",
	"result": {
		"pageInfo": {
			"marker": "",
			"maxKeys": 2,
			"isTruncated": false,
			"nextMarker": "dg-xxx", // 下次查询请求的marker参数
            "pageReverse": false
		},
		"datasets": [
            {
				"datasetId": "dg-xxx",
				"datasetName": "helloDatasetList1",
				"dataFormat": "PromptResponse"
			},
			{
				"datasetId": "dg-xxx",
				"datasetName": "helloDatasetList2",
				"dataFormat": "PromptImage"
			}
		]
	}
}
{
	requestId: 'b4f5f3f2-307e-41d6-5afc-a6708cfa286b',
	result: {
		pageInfo: {
			marker: '',
			maxKeys: 2,
			isTruncated: false,
			nextMarker: 'dg-xxx', // 下次查询请求的marker参数
            pageReverse: false
		},
		datasets: [
            {
				datasetId: 'dg-xxx',
				datasetName: 'helloDatasetList1',
				dataFormat: 'PromptResponse'
			},
			{
				datasetId: 'dg-xxx',
				datasetName: 'helloDatasetList2',
				dataFormat: 'PromptImage'
			}
		]
	}
}

请求参数

名称 类型 必填 描述
marker string 本次查询的起始位置,第一条查询该字段设为空
maxKeys int 请求列表长度,最大为100,默认值是10,如果指定的值大于100,按100操作
pageReverse bool 是否倒序,默认否,即按照版本创建时间顺序排列
filter map 筛选条件,此处支持对于数据格式进行筛选,对应Key为dataFormatList示例:{"dataFormatList": ["PromptResponse", "PromptImage"]}
filter.dataFormatList List 根据数据集数据格式进行筛选,可选值如下:
· PromptResponse:表示Prompt+Response
· Role:表示Role(user+assistant)
· Text:表示纯文本
· DPO_PromptChosenRejected:表示DPO或SimPO数据格式
· KTO_PromptChosenRejected:表示KTO数据格式
· PromptSortedresponses:表示Prompt+多Response排序
· Prompt:表示Prompt集
· PromptImage:表示Prompt+图片
· PromptImageResponse:表示Prompt+Image+Response

返回参数

名称 类型 描述
requestId string 请求ID
result object 请求结果,请求成功时返回
code string 错误码,错误时返回
message string 错误信息,请求失败时返回

result说明

名称 类型 说明
pageInfo object 分页信息
datasets List<dataset> 数据集列表

pageInfo说明

名称 类型 说明
marker string 本次查询的起始位置第一次为空
maxKeys int 请求返回的数量
isTruncated bool 指明是否只返回了部分数据,说明:
· false:表示本次已经返回所有结果,
· true:表示本次还没有返回所有结果
nextMarker string 当isTruncated为true时,才返回此项,作为下次查询marker的值
pageReverse bool 是否倒序,默认否,即按照版本创建时间顺序排列

dataset说明

名称 类型 说明
datasetId string 数据集ID
datasetName string 数据集名称
dataFormat string 数据格式,可选值如下:
· PromptResponse:表示Prompt+Response
· Role:表示Role(user+assistant)
· Text:表示纯文本
· DPO_PromptChosenRejected:表示DPO或SimPO数据格式
· KTO_PromptChosenRejected:表示KTO数据格式
· PromptSortedresponses:表示Prompt+多Response排序
· Prompt:表示Prompt集
· PromptImage:表示Prompt+图片
· PromptImageResponse:表示Prompt+Image+Response
上一篇
创建数据集
下一篇
删除数据集