导入数据集

import os

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

from qianfan.dataset import Dataset

# 从本地文件导入
ds =Dataset.load(data_file="path/to/dataset_file.jsonl")

import os
from qianfan.dataset import Dataset
from qianfan.dataset.data_source import FormatType

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

ds = Dataset.load(
  data_file="path/to/folder",
  file_format=FormatType.Json,
)
print(ds.list())

import os

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

from qianfan.dataset import Dataset

# 从千帆导入
# 会将平台上的数据集缓存到当前工作目录中的 .qianfan_dataset_cache 文件夹中，免去重复创建带来的重复下载。缓存版本由 SDK 控制且保证最新，用户无需关注
ds = Dataset.load(qianfan_dataset_id='your_dataset_strid')

# 如果用户不想在创建 Dataset 时即进行缓存，可以设置 is_download_to_local 为 False ，此时用户可以在功能受限的情况下对数据集进行有限的操作
# ds = Dataset.load(qianfan_dataset_id="your_dataset_id", is_download_to_local=False)

print(ds.list())

import os
from qianfan.dataset import Dataset, FileDataSource
from qianfan.dataset.data_source import BosDataSource
from qianfan.dataset.data_source.base import FormatType

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

# 本地数据源导入
file_source = FileDataSource(path="local_file.json")
local_ds = Dataset.load(source=file_source)
print(local_ds.list())

# bos数据源导入
bos_source = BosDataSource(
    region="bj",
    bucket="your_bucket_name",
    bos_file_path="/path/to/data.jsonl"
)
bos_ds = Dataset.load(source=bds)
print(ds.list())

import os

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

# 创建HuggingFace数据集
from datasets import load_dataset
huggingface_ds = load_dataset(
    "cais/mmlu", "abstract_algebra", split="auxiliary_train"
)

# 从HuggingFace导入
from qianfan.dataset import Dataset
ds = Dataset.load(huggingface_dataset=huggingface_ds)
print(ds.list())

import os

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

#使用 Python 的集合对象导入
from qianfan.dataset import Dataset
ds_pyobj = Dataset.create_from_pyobj([{"column_name1": "column_data1"}])
print(ds_pyobj.list())

#使用 pyarrow.Table 对象导入
import pandas
from pyarrow import Table

pd_df = pandas.DataFrame({"column_name1": ["column_data1"]})
ds_pyarrow_table = Dataset.create_from_pyarrow_table(Table.from_pandas(pd_df))
print(ds_pyarrow_table.list())

[[{'prompt': '请根据下面的新闻生成摘要, 内容如下:新华社受权于18日全文播发修改后的《中华人民共和国立法法》，修改后的立法法分为“总则”“法律”“行政法规”“地方性法规、自治条例和单行条例、规章”“适用与备案审查”“附则”等6章，共计105条。\n生成摘要如下:',   'response': [['修改后的立法法全文公布']]}],
[{'prompt': '请根据下面的新闻生成摘要, 内容如下:一辆小轿车，一名女司机，竟造成9死24伤。日前，深圳市交警局对事故进行通报：从目前证据看，事故系司机超速行驶且操作不当导致。目前24名伤员已有6名治愈出院，其余正接受治疗，预计事故赔偿费或超一千万元。\n生成摘要如下:',   'response': [['深圳机场9死24伤续：司机全责赔偿或超千万']]}],
[{'prompt': '请根据下面的新闻生成摘要, 内容如下:1月18日，习近平总书记对政法工作作出重要指示：2014年，政法战线各项工作特别是改革工作取得新成效。新形势下，希望全国政法机关主动适应新形势，为公正司法和提高执法司法公信力提供有力制度保障。\n生成摘要如下:',   'response': [['孟建柱：主动适应形势新变化提高政法机关服务大局的能力']]}]]