创建知识库

概述

【个人空间-知识库】用于存储和管理各类知识文档，以辅助各类型原生应用的快速搭建并查看效果。

1. 登录百度智能云千帆-AppBuilder。
2. 在左侧菜单栏中，选择【个人空间-知识库】，进入该页面后，可查看到当前所有知识库列表，列表中包含知识库ID、托管资源等信息，当前可支持创建100个知识库。[去控制台创建]

创建知识库

【个人空间-知识库】用于存储和管理各类知识文档，以辅助各类型原生应用的快速搭建并查看效果。点击知识库列表上方的【创建知识库】按钮，在展开的页面中填写新知识库的各项信息。

1. 定义知识库基本信息

【知识库定义】定义知识库的基本信息。

字段	填写注意事项	案例
知识库名称	知识库名称仅支持中文、英文、数字、下划线（_）、中划线（-）、英文点（.）（1～50字符）	相机使用说明书
知识库描述	描述该知识库的内容和用途	主要包括相机的使用说明，为用户介绍相机的保修信息和服务条款、安全注意事项、基本操作、菜单设置、拍摄技巧等。
所属群组	通过下拉菜单栏选择知识库所属群组： 支持在选择所属群组时添加子群组（群组名称仅支持中文、英文、数字、下划线(_)、中划线(-)、英文点(.)，名称不超256个字符，超出部分会自动截断。同一父级下，群组名称不可重复。）	属于“产品文档>数码产品>相机"

2. 托管切片

【托管切片】选择切片向量模型与托管索引资源。

2.1 选择向量模型

将文本转化为用数值表示的向量形式。用于知识导入时的向量转化，以及知识问答过程的语义向量检索。单文件支持最大字数为100w字，超出部分将不会转化为向量（仅对平台共享资源有此限制，对专享资源没有此限制）。可以从下拉框中选择向量模型，目前支持multilingual-embedding-AppBuilder、bge-large-zh、bge-large-en三种模型。

模型名称	资源选择	模型说明
multilingual-embedding-AppBuilder	限时免费使用，不抵扣赠送的免费tokens，暂不支持切换为专享资源	当前向量模型默认为multilingual-embedding-AppBuilder，限时免费试用，支持的语言为：中文（简体、繁体）、英文、马来语、泰语、日语。多语言RAG应用可根据用户语言，使用对应语言答复
bge-large-zh	支持选择使用平台赠送资源或ModelBuilder平台专享资源（仅在ModelBuilder平台中开通才可使用专享资源）	用户可在模型说明文档中查看模型介绍
bge-large-en	支持选择使用平台赠送资源或ModelBuilder平台专享资源（仅在ModelBuilder平台中开通才可使用专享资源）	用户可在模型说明文档中查看模型介绍

在ModelBuilder平台查询自己已开通的ModelBuilder平台模型资源

1. 多语言RAG的知识库语言支持中文和英语两种语言。模型答复时可根据用户语言自动转换。
2. 目前需要用户通过提交工单申请开通白名单才能使用多语言RAG功能。

2.2 切片托管资源

2.2.1 使用百度ElasticSearch(BES)资源

• 若未开通 BES，请先开通 BES 资源（https://cloud.baidu.com/product/bes.html)，并创建，并创建) ElasticSearch 集群实例。
• 创建新 ElasticSearch 集群实例：设置BES集群名称及管理员密码，并填入知识库创建对应的表单位置。

• 调用已创建的 ElasticSearch 集群实例：点击集群名称链接进入集群详情页，查看集群名称与管理员名称。注意，管理员密码不可查看，若忘记密码请重新设置。

2.2.2 使用百度向量数据库VectorDB

• 若未开通VDB，请先开通VDB资源（https://cloud.baidu.com/product/vdb.html?track=sousuo)，并创建百度VectorDB实例。，并创建百度VectorDB实例。)
• 新用户可点击“创建试用资源”，创建试用VDB实例。

资源创建成功后会自动跳转至资源登陆界面。

• 若已开通VDB， 可直接选择对应实例进行登陆。

3. 导入文件源

【选择导入类型】可以选择按文件类型导入和按模板导入。

3.1 按文件类型导入

【选择文件类型】可选择导入文件类型和导入方式。支持选择文本文档数据、知识问答数据和url导入数据，满足您各种场景需要！

3.1.1 文本文档数据导入

3.1.2 表格型知识数据导入

表格型知识数据导入后，必须先进行数据配置，启用至少1个索引字段，才可使用。

3.1.3 读取网页数据源

	解析网页内容	解析子网页及网页内容
描述	仅支持解析所上传URL的网页数据	将上传的URL作为根目录，自动解析其所含全部子目录的网页数据
URL解析方式	1.逐个上传: a.支持逐个上传，最多支持添加10条URL； b.可通过URL上传框右侧的【更新频率】设置按钮，对导入知识库的URL网页数据进行定时的内容更新； c.也可以在上传框下面【一键设置更新频率】进行一键设置 2.批量上传：可以通过xlsx文件填写URL实现批量上传(建议使用xlsx模版填写URL 3.去重方式： 知识库内URL去重：对比新增URL与知识库已有URL。出现相同URL时，会重新添加网页内容后删除知识库已有的重复内容 4.HTML内容筛选： a：支持使用CSS选择器语法，对导入的所有网页使用此逻辑进行筛选，精确定位HTML内容中的一个或多个元素 b：支持的选择器类型包含：基本选择器、分组选择器、组合器、组合器 c：例如通过 div.container p 可以选中所有位于 div 元素内，并且属于 class="container" 的元素中的 p（段落）元素 5.抽取链接：支持保留解析内容中文本的超链接	1.单个根目录上传 a.对单个根目录进行解析 b.可通过URL上传框右侧的【更新频率】设置按钮，对导入知识库的URL网页数据进行定时的内容更新 2.根目录批量解析 a.xlsx文件填写url作为根目录进行批量上传，建议使用AppBuilder提供的xlsx模版填写 b.只支持上传一个文件，单个文件不超过15MB 注意：最多支持解析800条子目录，若通过自动解析子网页的方式导入知识库，子网页数目超过知识库容量800个后多余部分不会被导入知识库。 3.去重方式： a:支持选择URL锚点去重和知识库内URL去重 b:URL锚点去重：如果多个URL仅锚点（地址中#以后）部分不同，会自动去重后，作为一个URL导入 c:知识库内URL去重：对比新增URL与知识库已有URL。出现相同URL时，会重新添加网页内容后删除知识库已有的重复内容 4.HTML内容筛选： a：支持使用CSS选择器语法，对导入的所有网页使用此逻辑进行筛选，精确定位HTML内容中的一个或多个元素 b：支持的选择器类型包含：基本选择器、分组选择器、组合器、组合器 c：例如通过 div.container p 可以选中所有位于 div 元素内，并且属于 class="container" 的元素中的 p（段落）元素 5.抽取链接：支持保留解析内容中文本的超链接
举例	通过上传百度百科链接 https://baike.baidu.com/item/%E6%B2%99%E4%B8%98/20601683 可以实现对该页面内容的提取和动态追踪	使用同样一个百度百科链接 https://baike.baidu.com/item/%E6%B2%99%E4%B8%98/20601683 ，由于该链接内还包含其他的跳转链接，可以同时解析处包含链接的内容

3.2 按模版导入

可选择按简历文档，ppt幻灯片，论文文档，结构化问答对模版导入。系统会按照模版结构生成切片。

可选模板	具体解释	适用场景
简历文档	简历模版将文件解析为结构化字段存储在一个切片中	支持上传doc、docx、pdf格式文件
PPT幻灯片	幻灯片模版将文件按页解析，每一页幻灯片内容分别存储在一个切片中	支持上传ppt、pptx格式文件
论文文档	论文模版根据论文结构将文件解析为对应结构切片，如标题、摘要、引言等结构	支持doc、docx、pdf格式文件
结构化问答对	问答对模版将文档识别解析为问答对切片，每一个问答对存储在一个切片，建议问答对间以空行进行分隔	支持doc、docx、pdf、txt格式文件

文档导入说明：

4.选择配置

【选择配置】上传文档后，可在配置选择中根据需求配置解析策略，切片策略和知识增强以提升知识问答效果。

（1）解析策略： 默认开启文字提取策略，可以选图像文字识别(OCR)、版面分析、文档图片解析、文档图表解析、表格深度解析和文档公式解析策略。

解析策略配置模块解释如下：

（2）切片策略：

解析策略配置模块解释如下：

自定义切片相关概念解释如下：

功能	解释
标识符	1. 支持按照所选的标识符切分文本时，可以选择的标识符有：中文句号、中文逗号、中文问号、英文句号、英文叹号、英文问号、按页切分、自定义正则表达式。 2. 当选择自定义正则表达式时，需要填写表达式内容和包含策略 a. 表达式：通过正则表达式，自定义可匹配的分隔符。例如： I. [。!?] ：任意句号，叹号，问号： II. (第[\d一二三四五六七八九十零壹贰叁肆伍陆柒捌玖拾]{1,}章)： 第x章 b. 包含策略：对正则匹配的分隔符，设置包含的位置。例如当匹配到 “第x章” 时，可选： I. 前序切片：将 “第x章” 拼接至前序切片末尾 II. 后续切片：将“第x章” 拼接至后续切片开头 III. 匹配后丢弃：切分后，将“第x章”删除 IV.注：当表达式涉及多段分隔符时，此选项功能可能不生效
切片最大长度	设置每个切片内的字符数上限，确保切片的最大长度与模型所支持的上下文长度范围相匹配，以确保数据处理的准确性和效率。 1. 长度越大，召回的上下文越丰富。 2. 长度越小，召回的信息越精简。 3.当前切片最大长度默认为1200字，最高上限为15万字，但需确保填写的切片最大长度不超过模型上下文的数量限制。
切片重叠最大字数占比	是指：当前切片与前后切片的 “重叠部分字符数” 相较于设置的 “切片最大长度” 的比例。如果重叠部分存在不完整的句子，则此切片舍去该句。占比越大，相邻切片重叠字符越多， 占比越小，重叠字符越少。 例如，如果文本是“我爱学习我爱生活”，假设我们按4个字符进行切片，重叠比例为3/4或75%，则第一个切片是“我爱学习”，第二个切片是“爱学习我”，第三个切片是“学习我爱”，这些切片之间的重叠部分字符数是“爱学习”或“学习我”3个字符。通过这种方式，可以确保每个切片之间有指定的重叠字符数，从而保持文本的连贯性。同时，如果句子“我爱学习并享受这个过程”被切割成“我爱学习”和“并享受这个”，由于“并享受这个”是不完整的，这个切片可能会被舍弃或与其他切片合并。 注：该功能在选择自定义正则表达式标识符时不可用。
关联信息	1. 关联标题及子标题: 开启后，将在段落切片中补充正文标题或子标题信息，在检索标题相关信息时，有利于提升切片召回效果。关闭时，可提高文件切分处理速度。 2. 关联文件名： 开启后，将在段落切片中补充文件名信息，在检索文件名信息时，有利于提升切片召回效果。关闭时，可提高文件切分处理速度。

整文件切分：
该切片策略会将整份文档的解析内容放入同一个切片中，适用于长上下文大模型对全文总结的场景，单一切片最高支持15万字。开启后，会增加文档的处理时长和资源消耗。

（3）知识增强

在检索问答时，系统通过检索知识点召回对应的切片。开启知识增强，会调用大模型抽取更加丰富的知识点，增加切片的召回率。对于文本文档类和网页数据源的知识切片，知识增强将对每个切片生成对应的知识点，对于表格类知识数据，表格中的一行为一个切片，仅对设置的索引列内容生成对应的知识点。

开启知识增强后，会增加文档的处理时长和资源消耗。知识增强文档字数上限为10万字；单个切片字数上限为8千字，超出部分无法使用知识增强。知识增强方式可选择问题生成、段落概要、三元组知识抽取三种方式。

注意事项：知识增强文档字数上限为10万字；单个切片字数上限为8千字，超出部分无法使用知识增强。