导入知识库

更新时间：2024-12-18

接口描述

导入到知识库，当前仅支持单个web的url导入。

权限说明

Authorization需要填写密钥

接口定义

Path	/v2/knowledgeBase?Action=CreateDocuments
Method	POST
Content-Type	application/json
Authorization	请求签名(此签名为应用工作台密钥)

请求结构

POST /v2/knowledgeBase?Action=CreateDocuments HTTP/1.1
HOST: qianfan.baidubce.com
Authorization: authorization string
Content-Type: application/json

{   
    "id":"knowledgeBaseID",
    "source": { # 数据来源
        "type": "web", # web 
        "urls": [],
        "urlDepth": 1
    },
    "contentFormat": "", # rawText (允许配置后续分割策略)
    "processOption": {
        "template": "ppt" # 可选项为 ppt、paper、qaPair、resume、custom、default
        "parser": { # 不是必填项
            "choices": ["layoutAnalysis"] # 可选项为 layoutAnalysis、ocr
        },
        "chunker": {
            "choices": ["separator"], # separator, pattern, onePage
            "separator": {  #当choices中包含 separator时需要填写这个参数
                "separators": [",", "!", "?"], # separator，可以新增分页符
                "targetLength": 333,
                "overlapRate": 0.09
            },
           // "pattern": { #当choices中包含 pattern时需要填写这个参数
            //     "markPosition": "head",
               // "regex": "正则表达式",
              //  "targetLength": 333,
               // "overlapRate": 0.09
           // }
        },
        "knowledgeAugmentation": {
            "choices": ["faq"], # faq，spokenQuery、spo、shortSummary按需增加
        }
    }
}

请求头域

除公共头域外，无其它特殊头域。

请求参数

字段	类型	是否必须	说明
id	string	是	知识库id
source	dict	是	数据来源
source \ type	string	是	数据来源类型 (web)
source \ urls	[]string	是	url列表
source \ urlDepth	int	type=web 时是	url下钻深度，1时不下钻
contentFormat	string	是	上传的数据类型，可选值为： rawText：文本文档数据。（暂不支持表格型知识数据）
processOption	object	contentFormat为rawText时是	文档处理策略
processOption \ template	string	是	配置方法，可选值为： ppt：ppt幻灯片 paper：论文文档 resume：简历文档 custom：自定义配置，且切片策略可配置 default：自定义配置（切片策略不生效） qaPair：结构化问答对
processOption \ parser	dict	否	文档解析配置
processOption \ parser \ choices	[]string	否	解析方法，可选值为： (文字提取默认启动，参数不体现） layoutAnalysis：版面分析 ocr：光学字符识别 pageImageAnalysis:文档图片解析
processOption \ chunker	dict	自定义配置（template为custom）时是	切片策略配置
processOption \ chunker \ choices	[]string	是	使用哪些切片策略方法，可选值为： separator:分割符切片，配置切分标识符、切片最⼤⻓度等选项 pattern：正则切片方法，使用正则表达式切片 onePage: 整文件切片，将整篇文档内容存入单一切片
processOption \ chunker \ separator	dict	chunker.choices[]中包含时是	分隔符配置
processOption \ chunker \ separator \ separators	[]string	chunker.choices[]中包含separator时是	分隔符列表，可以使用分页符
processOption \ chunker \ separator \ targetLength	int	chunker.choices[]中包含separator时是	分段最大长度
processOption \ chunker \ separator \ overlapRate	float	chunker.choices[]中包含separator时是	重叠比例
processOption \ chunker \ pattern	dict	chunker.choices[]中包含pattern时是	正则配置
processOption \ chunker \ pattern \ markPosition	string	chunker.choices[]中包含pattern时是	匹配命中时，命中内容放置策略(head \| tail \| drop)
processOption \ chunker \ pattern \ regex	string	chunker.choices[]中包含pattern时是	正则表达式
processOption \ chunker \ pattern \ targetLength	int	chunker.choices[]中包含pattern时是	分段最大长度
processOption \ chunker \ pattern \ overlapRate	float	chunker.choices[]中包含pattern时是	重叠比例
processOption \ chunker \ prependInfo	[]string	否	chunker关联元数据，可选值为： title :增加标题, filename:增加文件名
knowledgeAugmentation	dict	否	数据增强策略
knowledgeAugmentation \ choices	[]string	否	faq，spokenQuery、spo、shortSummary按需增加

响应头域

除公共头域外，无其它特殊头域。

响应参数

字段	类型	必然存在	说明
requestId	string	是	requestId
documentIds	Array	是	文档id

请求curl 示例

curl --location 'https://qianfan.baidubce.com/v2/knowledgeBase?Action=CreateDocuments' \
--header 'Authorization: Bearer authorization string' \
--header 'Content-Type: application/json' \
--data '{   
    "id":"4bcfc08f-0f30-4acd-95ec-2bedecc8f795",
    "source": {
        "type": "web",
        "urls":["url"],
        "urlDepth": 1
    },
    "contentFormat": "rawText", 
    "processOption": {
        "template": "default",
        "parser": {
            "choices": ["layoutAnalysis"]
        },
        "chunker": {
            "choices": ["separator"], 
            "separator": {
                "separators": ["。", "，","，"],
                "targetLength": 300,
                "overlapRate": 0.25
            },
            "prependInfo": ["title", "filename"]
        }
    }
}'

正确响应示例

HTTP/1.1 200 OK
{
    "requestId": "46017562-637f-402a-9000-cfe535986d5d"
    "documentIds": [
        "35575d7e-89d3-4b85-b41f-9bb66a5e62be"
    ]
}

错误响应示例

HTTP/1.1 400
{
    "code": "InvalidRequestArgumentError",
    "message": "Dataset Not Found",
    "requestId": "9873898f-4af9-42da-b670-7cd71de8c4d2"
}

上传文件到知识库

删除知识库文档