资讯 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

创建应用

概述

百度智能云千帆AppBuilder(以下简称为AppBuilder)是一款基于AI大模型的应用开发平台,提供预置应用框架的零代码创建能力代码态开发能力,降低AI原生应用的开发门槛。无论你是AI爱好者、专业开发者,还是企业用户,都可以通过AppBuilder快速搭建一款AI应用。同时支持对应用进行多渠道发布和分析。

image.png

零代码创建应用

进入AppBuilder首页后,你可以在输入框中输入你的想法,AppBuilder将会自动帮你创建应用。应用快速创建完成后,你可以点击链接或应用卡片,进入应用配置页进行进一步调试。也可以点击创建应用,直接跳转到应用配置页,进行配置。

image (9).png

零代码创建支持用户通过应用配置界面完成应用设定、能力扩展等设定,并对应用进行在线测试。通过输入指令、开场白和推荐问,选择组件、知识库,设定模型配置、追问配置和知识库检索方式,你可以完成应用的创建。同时,你也可以点击各功能右上角的智能生成图标,由AI自动完成文字生成和组件选择。

应用配置界面分为三栏:

  • 左侧为应用设定界面,你可以在这里设定应用的基本信息,包括头像、名称和描述。同时通过角色指令功能,指定应用将扮演的角色、能够使用的组件以及输出结果的格式与风格。
  • 中部为能力拓展界面,通过使用组件、知识库、数据库、数字人形象等功能,你可以对应用能力进行升级。
  • 右侧为预览和调试界面,你可以选择模型,对应用进行实时的效果测试,检测应用配置效果。

截屏2024-04-26 14.00.25.png

在应用配置界面,如果想快速创建应用或者替代现有应用,可以点击【AI自动生成配置】进行应用生成。如果没有明确的想法可以点击【随机生成】按钮随机生成一个应用;也可以输入你的想法,点击【AI生成】进行应用创建。


应用设定

「应用设定」指引用户对应用进行设定,主要包括应用基本信息和角色指令的填写。

image (12).png

基本信息

基本信息包含应用的名称、描述和应用头像信息,你可以点击头像上传头像,也可以点击AI生成功能进行应用头像的自动生成。

基本信息 填写方式
头像 点击头像进行上传,或点击【AI生成】自动生成头像。
名称 仅支持中文/英文/数字/下划线/英文点。
描述 输入应用的用途和功能,以便进行应用管理,或让你的团队伙伴更好理解你创建的应用。

角色指令

通过角色指令(Instruction),你可以指定应用将扮演的角色、期望角色完成的任务和目标,说明可用的组件以及如何使用这些组件,指定回答的输出格式、结果内容、风格要求或字数限制等。此外,还可通过编写指令中的【要求与限制】规范应用的行为与操作。

点击【优化】和【模版】按钮,快速生成角色指令:

  • 点击【优化】按钮,大模型会对现有的角色指令进行优化。
  • 点击【模版】按钮,你可以参照指令模版,基于应用设定对角色进行配置。

截屏2024-04-26 14.24.33的副本.png

能力拓展

「能力拓展」指引用户使用诸如组件、知识库、数据库之类的高级能力,对应用进行能力升级。目前支持的能力包括组件、知识库、数据库、数字人形象、开场白、推荐问和追问。

image (13).png

能力 说明
组件 通过组件可以增强或扩展模型的能力,如集成搜索组件可以让智能体检索互联网上的实时信息,为用户提供最新的数据和动态。
知识库 知识库是存储专业领域的知识和数据的集合,用于提高智能体在特定场景下的响应准确性和专业性。例如,一个医疗知识库可以提供详细的药物使用指导,确保用户获得正确且及时的健康建议。
数据库 通过数据库可实现表格问答,支持单表问答或多表联合问答。如对某公司年度相机销售情况进行管理和分析。
数字人形象 为应用添加数字人形象,支持语音对话。
开场白 开场白是智能体首次与用户接触时的初始对话。它简要介绍智能体的身份和功能,使用户了解如何与其有效沟通。
推荐问 在对话初期,智能体提供的预设问题,引导用户探索其功能和服务,帮助用户快速熟悉和利用智能体的能力。
追问 智能体基于当前对话内容自动产生后续问题,旨在深化对话、收集更多信息,通过个性化的回应和服务提高用户对话轮次。

组件

AppBuilder支持选择丰富的组件,拓展大模型能力边界,你可以选择【平台提供的组件】,也可以选择【自己创建组件】后添加自定义组件进行应用配置。

每个应用中可以选择多个组件进行配置,建议选择4个及以下的组件,实现效果较好。支持通过组件关键词对组件进行搜索。

  • 添加平台提供的组件:可以通过AI添加和手动添加两种方式进行添加。点击星号,可由AI进行组件添加;点击“+”号,跳转到组件添加页面,选择你需要的组件进行添加。

image (16).png

  • 支持在【组件广场】中选择平台内置的组件;也可以点击【我的组件】按钮,查看你创建的组件并进行添加。

image (17).png

  • 自己创建组件:点击【创建组件】按钮进行创建,具体可以见下文

image (18).png

可以在「组件广场」页查看组件的详情。

image.png

image.png

同时,你也可以点击【创建组件】功能,参考工作流创建组件,通过工作流完成自定义的组件创建,自行设置组件的能力。

截屏2024-04-26 14.30.42.png

image.png

知识库

AppBuilder支持应用添加知识库,大模型将基于你上传的知识文档回答问题,你可以通过引用知识库文件实现知识问答的功能。

image.png

点击知识库旁边的点击『加号』会弹出添加知识库弹窗,点击『添加』可添加已创建的知识库,点击『创建知识库』可以跳转至『我的知识库』页面并创建一个新的知识库,一个应用最多可调用5个知识库。知识库相关内容可查看文档个人空间-我的知识

image.png

image.png

选择知识库后,你可以点击【高级配置】按钮,支持将知识库和网页搜索搭配使用、调整知识库检索策略,知识库检索包括全文检索、语义检索、混合检索三种策略,以及设置召回数量和匹配分等。

7b9b0a59d8198cadb35c174a38d5bcef.jpg

网页搜索增强配置策略解释如下:

网页搜索增强 含义 适用场景
融合检索 开启后将同时使用知识库内容和百度搜索的知识源回答问题,并由大模型总结输出,提高内容的丰富度 适合复杂问题的分析,如市场分析、学术研究等
知识库优先 优先使用知识库检索答案,如果知识库没有相关答案,再使用百度搜索进行回答,提高内容的置信度 适用于需要高可信度和高准确度的回答,如法律咨询、医学诊断等
网页搜索优先 优先使用网页搜索查询答案,知识库回答作为补充 适用于对信息时效性、多样化要求高的场景

74b1b1f54efc85750ace97657a12d7ce.jpg

知识检索配置策略解释如下:

知识检索 含义 适用场景
全文检索 使用倒排索引策略进行检索召回,推荐在需要对关键词精准匹配的场景下使用 适合在关键词精准匹配的场景适用,如对技术术语的查询
语义检索 返回与查询Query含义相匹配的内容,而不是与查询字面意思相匹配的内容。推荐在需要对上下文相关性和意图相关性的场景下使用 适合在关键词模糊的场景使用,如客户服务;
也适合在复杂查询的场景使用,如学术研究、内容推荐等
混合检索 使用倒排索引和语义检索两种策略进行召回,推荐在需要对句子理解和语义关联性的场景下使用,综合效果更优 适用于绝大多数场景

5303c7e2c1b3df482286295ea5cbbbde.jpg

召回数量及匹配分解释如下:

知识检索 含义 适用场景
召回数量 代表从知识库中召回与输入Query匹配的片段个数,数量越大召回的片段越多 如果查询非常明确,召回数量可以适当减少
匹配分 在检索过程中用来计算输入Query和知识库原文片段的相似度,召回的片段中高于或等于匹配分的片段将会被最终输入大模型,你可以根据自己的需求设置匹配分 适当提高匹配分能够输出和query 关联更加紧密的答案,调低匹配分则能够召回更多答案,最终大模型回答的灵活性更高

image.png

tips:你可以进入目标知识库内使用命中测试功能来测试query在特定知识库语料中的检索结果,然后根据这些检索结果和对应的得分,来修改应用配置页—知识库配置选项的“召回数量”以及“匹配分”阈值按钮,来过滤出更符合预期的检索结果。

image.png

备注:什么是倒排索引
倒排索引也常被称为反向索引,是一种索引方法,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。下面用一个简单的例子来介绍倒排索引:
假设我们有以下两篇短文本:
a. 文档1: "apple banana"
b. 文档2: "banana cherry"
我们的目标是创建一个倒排索引,使得我们可以快速找到包含特定词的文档。首先,我们提取所有独特的词,并创建一个词汇表:
• apple
• banana
• cherry
然后,我们创建倒排索引,将每个词映射到包含它的文档编号列表:
• apple: [1]
• banana: [1, 2]
• cherry: [2]
这个倒排索引告诉我们:
• "apple" 只出现在文档1中。
• "banana" 出现在文档1和文档2中。
• "cherry" 只出现在文档2中。
现在,如果我们想找到包含 "banana" 的所有文档,我们只需要查看倒排索引中的 >"banana" 条目,它会告诉我们文档1和文档2都包含这个词。

数据库

AppBuilder通过数据库功能引用结构化的数据,实现表格问答,支持单表问答或多表联合问答。大模型会根据你的问题以及数据表描述来自动调用数据回答问题,可以和其他组件以及知识库联合使用,每个应用最多支持关联1个数据库。

点击数据库旁的【➕】,可以引用一个已创建的数据库,在弹框中可以点击【添加】按钮来添加一个数据库。此操作会默认添加此数据库中的所有数据表。同时支持点击【创建数据库】,跳转至个人中心—数据库来重新创建一个数据库。

注意:如果你的一个数据库中有多张数据表,只想添加其中几张数据表,可以展开数据库,并勾选需要添加的数据表。你也可以点击【创建数据库】。

image.png

数据库和知识库的区别:

  • 数据库中存放的结构化数据为数值、文本、整数、小数、日期、时间、百分比类型的数据,大模型会根据你的query自动调用数据表格并生成代码对数据表进行查询、推理、数据分析等任务。
  • 知识库中存放的知识问答结构化数据只能为文本类型,根据上传的知识问答FAQ结构化数据,大模型会更精准的命中上传的问题并根据上传的答案生成回复。

image.png

记忆变量

通过添加记忆变量可以让智能体记住用户的关键信息,生成更符合用户特征的回答。 01.png
可以通过变量在对话中记录、修改用户的特征信息,如性别、年龄,所在地等单个数据让智能体能够实现更个性化的回复;也可以记录轮次、回合等变量实现多轮次的复杂交互。

  • 添加记忆变量:点击记忆变量右侧的【+】,即可创建记忆变量。在弹框可以编辑变量与新增变量。
    02.png03.png

对应字段的解释如下:

字段 含义
名称 定义变量,仅支持英文、数字、下划线;必须以英文字母开头;50字以内
描述 完备的记忆变量描述能够提高调用的准确性。大模型将根据描述来调用并读写记忆变量
默认值 变量的值,可以设置初始的默认值,如果不定义则为空;变量重制后会恢复默认值
记忆时长 变量存储时长,目前为“长期”和“单次会话”两种类型

Tips
1.准确的变量名称与描述,可以让智能体更准确的写入和读取变量信息。
2.开发者删除变量或修改变量名称/描述,应用更新发布后会导致用户对应的变量数据被删除或重置为默认值,请谨慎操作。
3.记忆时长的特点:

记忆时长 特点
长期 用户一旦赋予变量值后将会长期存储,不会随着会话关闭而恢复为默认值。
单次会话 当一次会话结束后,则应用用户赋予的变量值会自动恢复为默认值,仅对一次会话生效。
  • 调试记忆变量:在调试窗口的右侧的【记忆】按钮中选择【记忆变量】,可以查看当前对话中储存的变量值。同时可以直接修改和重置变量值。
    04.png05.png
  • 使用记忆变量:用户在和应用对话中可以通过自然语言记录记忆变量,应用在回答用户问题时,也可以根据记忆变量中的数据来进行个性化的答复。
    06.png
    用户可以点击【记忆】按钮,选择【记忆变量】对变量值进行修改和删除。
    07.png

记忆表

记忆表可以在对话中存储多维、大量的信息。
08.png 开发者预先定义表结构,用户可以通过自然语言对表格中的数据进行增、删、查、改和统计、推理 、分析。

  • 添加记忆表:点击记忆表右侧的【+】,即可创建记忆表。在弹框中首先填写【表名称】和【表描述】。(准确的名称和详细的描述会让智能体更清楚在什么场景下调用记忆表)
    09.png10.png
    然后选择记忆时长,“长期”或是“单次会话”。
记忆时长 特点
长期 记录的表数据一旦被保存将会长期存储,不会随着会话关闭而被清空。
单次会话 当一次会话结束后,表数据会自动清空,仅对一次会话生效。

下滑后可以配置记忆表,点击【+】可以新增列。
11.png

记忆表配置时对应字段的含义如下

字段 含义
列名 设置一张记忆表表头有哪些字段。开发者定义好存储字段后,终端用户可在对应字段下存储相关数据。
列描述 用来解释此列数据的含义和用途,智能体将会根据列描述对记忆表进行按需调用并读写列信息。
数据类型 选择存储字段对应的数据类型,智能体将按照开发者定义的字段数据类型,对终端用户输入的内容进行保存。
是否必要 定义字段是否必要,在保存记忆表的一行数据时,终端用户在对话中必须提供必要字段的信息,否则无法保存该行数据。

Tips:删除列名或修改表名/表描述/列名/列描述,应用更新发布后会导致对应列的用户数据被删除或清空,需谨慎操作。

  • 调试记忆表:在调试界面,点击右上角【记忆】按钮,选择【记忆表】,可以查看当前记忆表的储存情况。可以直接修改记忆表中的值

12.png13.png

  • 使用记忆表:在定义好记忆表后,应用用户在和智能体的对话过程中,可以通过自然语言的方式将数据存储在记忆表中,智能体会识别用户对话中的信息,生成sql将信息写入记忆表。
    14.png
    用户可以点击【记忆】按钮,选择【记忆表】对记忆表内容进行修改和删除。 15.png

记忆片段

记忆片段可以让智能体记住非结构化的信息,并根据记忆生成更个性化的回答。
16.png
通过设置规则记录对话中的关键信息,这些关键信息会成为智能体的长期记忆。

  • 添加记忆片段:开发者开启【记忆片段】右侧的【开关】,即可开启记忆能力。通过设置记忆片段时长控制记忆信息保存的时间;预设prompt可以记录聊天中有关用户信息、偏好、计划等内容进行记忆;自定义prompt能让智能体更个性化的记录用户的关键信息。
    17.png
    Tips:更新记忆片段的prompt后,原记忆片段储存的信息会被删除。
  • 记忆片段调试:在调试界面,点击右上角【记忆】按钮,选择【记忆片段】,可以查看当前记忆片段的储存情况。点击片段内容即可编辑,点击右侧【删除】可删除对应片段。
    18.png19.png

选择【开始日期】和【结束日期】可以查看该时间范围内的记忆片段,也可以通过关键词搜索快速查到对应的记忆片段。
image.png

  • 记忆片段使用:功能开启后,智能体根据自定义prompt自动记录关键信息,并在问答中根据记忆内容生成更个性化的内容。
    21.png
    用户可以点击【记忆】按钮,选择【记忆片段】对记忆片段内容进行修改和删除。
    22.png

数字人形象配置

开启数字人形象配置开关,选择「数字人形象」和「数字人声音」,你可以在预览和调试界面查看效果。

image (22).png

「预览与调试」

a. 开启【自动播报】,数字人将会自动播报系统输出内容。

b. 关闭【自动播报】,数字人将不会自动播报系统输出内容,可以通过点击【开始播报】按钮,手动控制播报内容。

c. 点击【开始播报】后,再点击本条内容的【停止播报】,将会停止语音播报。

渠道发布

仅支持网页和应用广场渠道。

  1. 网页:

    • PC端
    • 移动端:在PC端的基础上,特别增加了语音输入功能。用户可以通过语音进行输入,最长支持30秒的音频输入。
  2. 应用广场:

6.png

兼容性

数字人播报受浏览器版本和手机型号影响,可能会存在无法播报的情况,建议使用Chrome126及以上版本浏览器、Edge126及以上版本浏览器,Safari15.6.1及以上版本浏览器,ios16.1及以上系统,Android13及以上系统。

开场白

支持用户填写和AI生成两种填写方式,点击星号,AI将自动根据角色设定进行开场白生成。可在预览和调试界面查看效果。


推荐问

支持配置应用推荐问题,最多配置3个。支持用户填写和AI生成两种填写方式,点击星号,AI将自动根据角色设定进行推问生成。可在预览和调试界面查看效果

截屏2024-04-26 14.33.39.png

追问

支持根据用户最近的对话,在最后一轮回复后自动提供追问。可选择默认模式,或自定义追问prompt。

截屏2024-04-26 14.34.35.png

预览和调试

「预览和调试」可以对应用搭建效果进行实时预览。在此界面,支持用户对模型进行修改和配置。目前AppBuilder支持两类模型:思考模型和问答模型。

模型配置

模型选择

你可以在模型配置中选择思考模型和问答模型,思考模型用于任务规划和选择组件,问答模型用于总结生成回复结果。你可以参考平台资源大模型服务进行模型选择和使用。

模型付费状态默认关闭,开启后,如果你已开通付费模型,免费资源消耗完毕后自动切换到付费资源,保障应用稳定可用,如需开启,请点击【修改配置】按钮前往资源额度页面。

模型效果配置

你可以配置最大思考次数和参考对话轮数,最大思考次数指在一轮对话中,组件调用的最大次数。推荐值为4,数值越大,可以处理更复杂的任务,但会增加响应耗时和Tokens消耗。

参考对话轮数是指传入大模型上下文的最大对话轮数。推荐值为2,数值越大,多轮对话中上下文相关性越强,但Tokens消耗越多。

4a59bf09febf1f44f2247c77f64e8ce4.png

模型 说明 模型选择
思考类型 用于任务规划和选择组件,适用于规划任务和调用能力环节 ERNIE-4.0-8K:最准
ERNIE-4.0-Turbo-8K:准且快
ERNIE-3.5-8K:较均衡
ERNIE Speed- AppBuilder:最高效价比
ERNIE-Lite- AppBuilder-8K:最快
问答模型 用于总结生成回复结果,适用于知识问答环节 推荐使用ERNIE Speed- AppBuilder模型,性价比高

备注:你可以在千帆大模型平台查看各个模型的介绍和版本说明。多样性数值越高,每次输出的内容差异就越大。推荐多样性数值为0,可调节范围为0-1。

上传文件

支持在对话框中上传xlsx、jsonl、png、pdf格式文件,可配合code interpreter、图像内容理解等工具,实现excel/json数据分析、统计分析画图,洞察结论等能力。

截屏2024-04-26 14.35.58.png

应用发布

完成应用配置和效果调试后,可点击右上角【发布】按钮,进行多渠道发布并支持创建API调用密钥。

  • 多渠道发布

你可通过分享该链接给其他开发者,使他们能够在web体验页立即体验你的AI原生应用demo;同时可以通过文心智能体平台完成应用向更多百度生态的分发,扩大用户流量。

在完成相关渠道配置后,你可以将应用发布到微信客服和微信公众号中供用户使用。

image.png

  • API调用

直接通过应用API调用接口,以API形式进行调用,查看应用API调用说明

image.png

代码态开发

请参考AppBuilder-SDK使用说明进行代码态开发。AppBuilder-SDK提供了完整的AI原生应用开发套件,包括丰富的开发组件和应用示例代码。