资讯 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

知识库简介

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。 快速入门部分有知识库创建和使用精简教程,另有详细帮助文档可转至创建知识库查看。

RAG概述

RAG(Retrieval-Augmented Generation,检索增强生成)是一种​​结合了信息检索与生成式大语言模型(LLM)的AI框架​​。
核心逻辑是:​​通过检索外部知识库获取相关信息,辅助生成模型生成更准确、相关、实时的内容​​。
它解决了传统生成模型的两大痛点——​​知识更新滞后​​(依赖训练数据,无法获取实时/私有知识)和​​幻觉问题​​(生成不准确或虚构的信息),而知识库便是RAG的数据基础。

RAG在Agent工作流程中的作用如下:

1.svg

千帆知识库模块提供丰富功能可供选择,覆盖多种业务场景。功能结构可拆分如图所示,您可根据具体需求进行选择

2.png

功能简介

数据导入

支持多种数据来源、数据格式

image.png

当前知识库支持本地上传百度对象存储两种方式导入数据作为知识来源。

导入方式 说明
本地上传 上传本地数据并导入 AppBuilder 共享存储服务,支持小规模文件导入
百度对象存储(BOS) 导入 BOS 中的数据,支持导入大规模数据,满足企业安全合规要求

可支持按文件类型导入和按模板导入不同数据格式,具体如下:

导入方式 文件类型 特点 举例
按文件类型导入 文本文档
(DOC、TXT、DOCX、PDF、PPT、PPTX、MD)
根据上传的文本文件直接进行分段处理 适合各类通用场景
表格
(XLSX、XLS、CSV、JSON)
读取表格中的文本信息,按行构建知识切片 适用于整理好的FAQ问答对数据、多列索引表格等含有长文的表格(表格单元格中存储了较长的文本内容)
网页(URL) 读取输入的网页链接,解析网页内容并导入知识库。支持设置自动更新 通过问答对进行知识干预,为用户提供更可控的问答结果
按模板导入 简历文档、PPT幻灯片、论文文档 按模板导入结构化问答对

千帆独家支持简历文档,ppt幻灯片,论文文档,结构化问答对模板导入,系统会按照模板结构生成对应切片。

解析策略

支持多种解析策略

解析策略支持文本提取、图片文字识别、版面分析、文档图片解析、文档图表解析、表格深度解析、文档公式解析单选/组合,您可根据数据格式/内容进行对应选择

5.png

向量化

支持多种切片策略

切片策略包含默认、自定义和整文件切分三种,默认切分根据文档自动设置切分规则

6.png

配置方法 解释 适用场景
默认切分 根据文档自动设置切分规则 适合具备简单结构的文本,如论文、新闻等
自定义切片 可以配置标识符、切片最大长度、切片重叠最大字数占比以及选择关联信息内容。(详细解释见下) 文本具有特定的结构或需要特别关注某些信息,如药物说明书
整文件切片 将整份文档的解析内容放入同一个切片中,开启后,会增加文档的处理时长和资源消耗 适用于长上下文大模型对全文总结的场景,单一切片最高支持15万字

支持多种向量模型

目前支持multilingual-embedding-AppBuilder、bge-large-zh、bge-large-en三种模型。详情介绍可见托管切片

1.png

支持多方托管资源

包含向量模型以及资源选择,用于将文本转化为用数值表示的向量形式并存储

目前支持AppBuilder资源、百度ElasticSearch(BES)资源、百度向量数据库VectorDB资源,具体使用细则和适用场景可见切片托管资源

推荐您使用百度向量数据库VectorDB,采用分布式架构,支持百亿级向量规模和十万级分片数量,配合BOS使用不限导入数量

2.png

知识检索

系统提供不同的检索策略、增强策略来提升检索结果的召回率。

支持知识增强

在检索问答时,系统通过检索知识点召回对应的切片。开启知识增强,会调用大模型抽取更加丰富的知识点,增加切片的召回率。

包含问题生成段落概要三元组知识抽取。开启后,会增加文档的处理时长和资源消耗,可根据需求自行选择。

增强方法 解释
问题生成 默认开启。根据切片内容生成问题作为知识点,提升知识点和用户检索文本的相似度,进而提升知识召回成功率。
段落概要 根据切片内容生成段落概要作为知识点,提升知识召回成功率。开启后,增加文档的处理时长和资源消耗。
三元组知识抽取 对切片内容抽取三元组信息作为知识点,如:“百度发布新品”--- <百度,发布,新品>。开启后,提升知识召回成功率,同时会增加文档的处理时长和资源消耗。

注意事项:知识增强文档字数上限为10万字;单个切片字数上限为8千字,超出部分无法使用知识增强。

内置多种检索策略

使用不同的检索策略检索知识点,并召回不同的片段内容。

提供混合检索、全文检索、语义检索三种策略选择。

同时支持配套使用重排序。

其他增强方案

支持网页搜索增强:开启网页搜索后,可通过设置知识库和百度搜索的查询顺序来控制回答内容的置信度和丰富度

支持扩展上下文信息:开启后,将会用Small-to-Big策略对重排序后的切片扩展切片上下文,大模型能够看到更多上下文内容 以提高检索的准确性。

知识库组件描述:为知识库添加描述,使得大模型能够更精准的定位到所需知识。

知识库管理与维护

支持对知识库进行增删改查,创建完知识库后可在群组中选择对应的分组来进行批量操作。

5.png

最佳实践

实践一:对象存储(BOS)与向量检索(BES):企业级知识库创建
在Agent知识问答应用场景下,面对企业海量的知识问答数据源,百度智能云对象存储 BOS (Baidu Object Storage) 提供稳定、安全、高效以及高扩展的存储服务,您可以创建个人 BOS 并将知识库文件存储在个人 BOS 资源下,在知识库中导入 BOS 中的文件数据。百度 Elasticsearch(BES)是基于开源 Elasticsearch 的检索分析服务,提供 Elasticsearch、Kibana、Logstash 等开源全托管的产品服务。具备冷热分离、向量检索等产品特性。提供低成本、高性能和安全可靠的服务。

实践二:检索增强生成(RAG)应用:提示词调试
通过提示词调试可以提高回答的准确性、适当地拒绝回答、保持一致的人设和格式,以及控制字数以优化模型的输出。

更多实践见:知识库最佳实践

计费说明

知识库功能除模型使用之外不另外计费,以下为可能会产生计费的情况:

步骤 计费情况
创建知识库——向量模型 平台提供三种向量模型: 其中multilingual-embedding-AppBuilder限时免费使用,不抵扣赠送的免费tokens。 bge-large-zh和bge-large-en使用分平台赠送资源和专享资源两种 平台赠送资源将抵扣用户个人账号在Appbuilder平台上赠送的免费tokens,为共享资源池, 高峰时需要排队; 专享资源将抵扣用户在千帆Modelbuilder 上开通的专享资源,可使用专属资源池,拥有更快的服务速率 您可在 资源额度 查看平台赠送资源详情,或前往 千帆ModelBuilder 查看专享资源
使用知识库 调用百度千帆应用时,从知识库召回的文本切片会增加大模型输入Token数量,这可能导致模型推理(调用)费用的增加。关于模型推理(调用)的费用详情,请参见模型服务计费。

快速入门

知识库创建界面包含定义托管切片导入文件源配置选择等多个选项,详细流程可参考教程创建知识库

6.png

下面以简易文本文档数据源为例,采用本地上传方式,带您快速入门!

步骤一:定义基本信息

首先定义知识库基本信息,包括名称、备注并选择群组归属。

8.png

步骤二:托管切片

向量模型选择multilingual-embedding-AppBuilder,目前免费使用,推荐选择百度向量数据库VectorDB资源

如您未开通该服务,可以先创建免费资源,再进行资源连接

9.png

步骤三:导入文件源

选择本地上传方式,导入docx示例文件,支持上传多个文件

10.png

步骤四:选择配置

解析策略选择默认的图片文字识别(OCR)和版面分析,如果您上传的是表格文档或者文档包含数学公式符号等,也可选择对应的解析策略以适应文档类型。

切片策略选择默认切分,系统会自动设置切分规则。同时开启知识增强,选择增强方式。

不同文件类型所适配的解析策略、切片策略、知识增强方式不同,您可根据具体业务场景和文件类型选择对应选项。

11.png

同时您也可以根据标识符和最大长度等进行自定义切片整文件切片

12.png

步骤五:测试知识库(可选)

创建完成的知识库可在群组列表对应分组里查看,同时支持编辑和删除等操作

13.png

命中测试可用于测试、获取最佳知识库配置,辅助知识问答效果的调优。

以关键词“RAG”为例,对刚创建的知识库进行命中测试,如图可以看到对应的测试预览。更加详细的教程可见命中测试

14.png

步骤六:使用知识库

创建、测试完成后,即可在Agent应用界面选择对应的群组内的知识库使用

15.png

若您有更加具体需求,在此处知识更加细粒度的高级设置

配置完成后,选择刚才创建的知识库zsk,点击【添加】即可在Agent中引用知识库作为大模型的额外知识补充!

18.png

API文档

知识库API具体使用方法和代码示例,请参阅下方链接。

若要了解最新API更新情况,可见API更新记录

知识库检索

创建知识库

更新知识库

删除知识库

知识库详情

知识库列表

上传文件到知识库

导入url到知识库

删除知识库文档

查询知识库文档列表

新增切片

更新切片

删除切片

获取切片详情

获取切片列表

新增标签

删除标签

获取标签列表

上一篇
MCP服务
下一篇
创建知识库