资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

导入Prompt+Image+Response数据

登录到千帆ModelBuilder操作台,在左侧功能列选择通用数据集,进入主任务界面。

数据格式说明

Prompt+Image+Response:单轮或多轮的图文混合对话数据,支持单图或多图场景。适用于模型精调的SFT图像理解大模型训练,目前只支持上传已标注的数据

  • 单图对话数据集
# 单张图片的场景下,您可使用图片占位符<ImageHere>来指定图片的位置
{"images":["images/海报.jpg"],
"messages":[{"role":"system","content":"作为一个资深的影评人,请回答下面的问题"},
            {"role":"user","content":"图片<ImageHere>中色彩的运用如何影响海报的整体氛围?"},
            {"role":"assistant","content":"图片中色彩的运用极大地影响了海报的整体氛围..."}]}
  • 多图对话数据集
# 多张图片的场景下,您可使用图片占位符<Image1Here>、<Image2Here>来指定多张图片的顺序及位置(图片索引从1开始)
{"images":["images/狗.jpeg", "images/狐狸.jpeg"],
"messages":[{"role":"system","content":"你是一个插画师,请回答下面的问题"},
            {"role":"user","content":"看这两张图片: <Image1Here>,<Image2Here> 请分别描述其中的内容?"},
            {"role":"assistant","content":"图一是一张非常可爱的狗狗照片...\n\n图二是一幅卡通风格的狐狸插画..."}]}

数据文件要求

文件类型 具体要求
图片
  • jpg/png/jpeg/webp,单张图片大小≤100M。
  • 对同一数据集存在多个内容完全一致的图片,将会做去重处理。
  • 个人账户图片数据集总数限制:≤10万张,需扩容可提交工单
标注文件
  • 采用 json格式,文件内容由数字、中文、英文、中/下划线组成,长度≤32字符。
压缩包
  • 本地导入:压缩包文件大小不超过1G,所有文件数量不超过100。
  • 分享链接导入:压缩包文件大小不超过1G。
  • BOS导入:
    • 文件导入:压缩包源文件大小不超过50G,所有文件数量不超过1000。
    • 目录导入:目录内总文件大小不超过50G,所有文件数量不超过10w。
编码
  • 格式:UTF-8。
共享链接
  • 仅支持来自百度BOS、阿里OSS、腾讯COS、华为OBS的共享链接。

数据导入方式

创建数据集完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。

图理解数据集导入界面.png

您可以使用以下方案上传数据集:本地导入、BOS导入、分享链接导入、平台已有数据集。

导入方式 格式要求
本地导入
  • 压缩包(包含对话样本文件和关联图片集合)。
BOS导入
  • 文件导入:压缩包(包含对话样本文件和关联图片集合)。
  • 目录导入:压缩包(包含对话样本文件和关联图片集合)。
分享链接导入
  • 输入链接地址导入:压缩包(包含对话样本文件和关联图片集合)。
平台已有数据集
  • 仅支持选择未发布的数据集版本。
  • 仅支持有标注信息的数据集。

以上所有步骤完成后,即可导入数据至数据集。

上一篇
导入Prompt+图片数据
下一篇
管理数据集版本