创建知识库

概述

【个人空间-知识库】用于存储和管理各类知识文档，以辅助各类型原生应用的快速搭建并查看效果。

1. 登录百度智能云千帆-AppBuilder。
2. 在左侧菜单栏中，选择【个人空间-知识库】，进入该页面后，可查看到当前所有知识库列表，当前可支持创建100个知识库。[去控制台创建]

创建知识库

【个人空间-知识库】用于存储和管理各类知识文档，以辅助各类型原生应用的快速搭建并查看效果。点击知识库列表上方的【创建知识库】按钮，在展开的页面中填写新知识库的各项信息。

1. 定义知识库基本信息

【知识库定义】定义知识库的基本信息。

2. 托管切片

【托管切片】选择切片向量模型与托管索引资源。

2.1 向量模型

将文本转化为用数值表示的向量形式。用于知识导入时的向量转化，以及知识问答过程的语义向量检索。单文件支持最大字数为100w字，超出部分将不会转化为向量。

1. 当前向量模型默认为multilingual-embedding-AppBuilder，支持的语言为：中文（简体、繁体）、英文、马来语、泰语、日语。多语言RAG应用可根据用户语言，使用对应语言答复。
2. 多语言RAG的知识库语言支持中文和英语两种语言。模型答复时可根据用户语言自动转换。
3. 目前需要用户通过提交工单申请开通白名单才能使用多语言RAG功能。

2.2 切片托管资源

2.2.1 使用百度ElasticSearch(BES)资源

• 若未开通 BES，请先开通 BES 资源（https://cloud.baidu.com/product/bes.html)，并创建，并创建) ElasticSearch 集群实例。
• 创建新 ElasticSearch 集群实例：设置BES集群名称及管理员密码，并填入知识库创建对应的表单位置。

• 调用已创建的 ElasticSearch 集群实例：点击集群名称链接进入集群详情页，查看集群名称与管理员名称。注意，管理员密码不可查看，若忘记密码请重新设置。

2.2.2 使用百度向量数据库VectorDB

• 若未开通VDB，请先开通VDB资源（https://cloud.baidu.com/product/vdb.html?track=sousuo)，并创建百度VectorDB实例。，并创建百度VectorDB实例。)
• 新用户可点击“创建试用资源”，创建试用VDB实例。

资源创建成功后会自动跳转至资源登陆界面。

• 若已开通VDB， 可直接选择对应实例进行登陆。

3. 导入文件源

【选择导入类型】可以选择按文件类型导入和按模板导入。

3.1 按文件类型导入

【选择文件类型】可选择导入文件类型和导入方式。支持选择文本文档数据、知识问答数据和url导入数据，满足您各种场景需要！

文本文档类导入说明如下：

表格类知识数据导入说明如下：

读取网页数据源解释如下：

	解析网页内容	解析子网页及网页内容
描述	仅支持解析所上传URL的网页数据	将上传的URL作为根目录，自动解析其所含全部子目录的网页数据
URL解析方式	1.逐个上传: a.支持逐个上传，最多支持添加10条URL； b.可通过URL上传框右侧的【更新频率】设置按钮，对导入知识库的URL网页数据进行定时的内容更新； c.也可以在上传框下面【一键设置更新频率】进行一键设置 2.批量上传：可以通过xlsx文件填写URL实现批量上传(建议使用xlsx模版填写URL	1.单个根目录上传 a.对单个根目录进行解析 b.可通过URL上传框右侧的【更新频率】设置按钮，对导入知识库的URL网页数据进行定时的内容更新 2.根目录批量解析 a.xlsx文件填写url作为根目录进行批量上传，建议使用AppBuilder提供的xlsx模版填写 b.只支持上传一个文件，单个文件不超过15MB 注意：最多支持解析800条子目录，若通过自动解析子网页的方式导入知识库，子网页数目超过知识库容量800个后多余部分不会被导入知识库。
举例	通过上传百度百科链接 https://baike.baidu.com/item/%E6%B2%99%E4%B8%98/20601683 可以实现对该页面内容的提取和动态追踪	使用同样一个百度百科链接 https://baike.baidu.com/item/%E6%B2%99%E4%B8%98/20601683 ，由于该链接内还包含其他的跳转链接，可以同时解析处包含链接的内容

3.2 按模版导入

可选择按简历文档，ppt幻灯片，论文文档，结构化问答对模版导入。系统会按照模版结构生成切片。

可选模板	具体解释	适用场景
简历文档	简历模版将文件解析为结构化字段存储在一个切片中	支持上传doc、docx、pdf格式文件
PPT幻灯片	幻灯片模版将文件按页解析，每一页幻灯片内容分别存储在一个切片中	支持上传ppt、pptx格式文件
论文文档	论文模版根据论文结构将文件解析为对应结构切片，如标题、摘要、引言等结构	支持doc、docx、pdf格式文件
结构化问答对	问答对模版将文档识别解析为问答对切片，每一个问答对存储在一个切片，建议问答对间以空行进行分隔	支持doc、docx、pdf、txt格式文件

文档导入说明：

4.选择配置

【选择配置】上传文档后，刻在配置选择中根据需求配置解析策略，切片策略和知识增强以提升知识问答效果。

（1）解析策略： 默认开启文字提取策略，可以选图像文字识别(OCR)、版面分析和文档图片解析策略。

解析策略配置模块解释如下：

（2）切片策略：

解析策略配置模块解释如下：

自定义切片相关概念解释如下：

功能	解释
标识符	1. 支持按照所选的标识符切分文本时，可以选择的标识符有：中文句号、中文逗号、中文问号、英文句号、英文叹号、英文问号、按页切分、自定义正则表达式。 2. 当选择自定义正则表达式时，需要填写表达式内容和包含策略 a. 表达式：通过正则表达式，自定义可匹配的分隔符。例如： I. [。!?] ：任意句号，叹号，问号： II. (第[\d一二三四五六七八九十零壹贰叁肆伍陆柒捌玖拾]{1,}章)： 第x章 b. 包含策略：对正则匹配的分隔符，设置包含的位置。例如当匹配到 “第x章” 时，可选： I. 前序切片：将 “第x章” 拼接至前序切片末尾 II. 后续切片：将“第x章” 拼接至后续切片开头 III. 匹配后丢弃：切分后，将“第x章”删除 IV.注：当表达式涉及多段分隔符时，此选项功能可能不生效
切片最大长度	设置每个切片内的字符数上限，确保切片的最大长度与模型所支持的上下文长度范围相匹配，以确保数据处理的准确性和效率。 1. 长度越大，召回的上下文越丰富。 2. 长度越小，召回的信息越精简。 3.当前切片最大长度默认为600字，最高上限为15万字，但需确保填写的切片最大长度不超过模型上下文的数量限制。
切片重叠最大字数占比	是指：当前切片与前后切片的 “重叠部分字符数” 相较于设置的 “切片最大长度” 的比例。如果重叠部分存在不完整的句子，则此切片舍去该句。占比越大，相邻切片重叠字符越多， 占比越小，重叠字符越少。 例如，如果文本是“我爱学习我爱生活”，假设我们按4个字符进行切片，重叠比例为3/4或75%，则第一个切片是“我爱学习”，第二个切片是“爱学习我”，第三个切片是“学习我爱”，这些切片之间的重叠部分字符数是“爱学习”或“学习我”3个字符。通过这种方式，可以确保每个切片之间有指定的重叠字符数，从而保持文本的连贯性。同时，如果句子“我爱学习并享受这个过程”被切割成“我爱学习”和“并享受这个”，由于“并享受这个”是不完整的，这个切片可能会被舍弃或与其他切片合并。 注：该功能在选择自定义正则表达式标识符时不可用。
关联信息	1. 关联标题及子标题: 开启后，将在段落切片中补充正文标题或子标题信息，在检索标题相关信息时，有利于提升切片召回效果。关闭时，可提高文件切分处理速度。 2. 关联文件名： 开启后，将在段落切片中补充文件名信息，在检索文件名信息时，有利于提升切片召回效果。关闭时，可提高文件切分处理速度。

整文件切分：
该切片策略会将整份文档的解析内容放入同一个切片中，适用于长上下文大模型对全文总结的场景，单一切片最高支持15万字。开启后，会增加文档的处理时长和资源消耗。

（3）知识增强

在检索问答时，系统通过检索知识点召回对应的切片。开启知识增强，会调用大模型抽取更加丰富的知识点，增加切片的召回率。对于文本文档类和网页数据源的知识切片，知识增强将对每个切片生成对应的知识点，对于表格类知识数据，表格中的一行为一个切片，仅对设置的索引列内容生成对应的知识点。

开启知识增强后，会增加文档的处理时长和资源消耗。知识增强文档字数上限为10万字；单个切片字数上限为8千字，超出部分无法使用知识增强。知识增强方式可选择问题生成、段落概要、三元组知识抽取三种方式。

注意事项：知识增强文档字数上限为10万字；单个切片字数上限为8千字，超出部分无法使用知识增强。