检索增强生成（RAG）应用：提示词调试
更新时间：2024-11-21
一、提示词在RAG中的作用
通过提示词调试可以提高回答的准确性、适当地拒绝回答、保持一致的人设和格式，以及控制字数以优化模型的输出。
二、通过应用配置调整提示词
应用配置涉及到两处用户提示词：
1.角色指令：用来指定角色完成的任务目标、具备的组件能力以及对输出答案的要求与限制。
2.用户query：用户的问题。
三、场景应用：Prompt调试
这里将以两个场景为例，说明如何调试提示词从而达到适当场景委婉拒答的效果。
1.文档型知识库——千帆问答机器人
1）千帆问答机器人概述
千帆问答机器人是关于千帆大模型平台（Model Builder）的产品问答助手，用来统一解答用户使用平台过程的相关疑问。
这个案例中碰到了两个问题 ：
1.非业务场景未拒答。
2.拒答过于简单，表述信息不全，引导性差。
如下是调试思路和方法。
2）角色指令优化案例分析
案例1
存在问题：本次文档问答是基于Model Builder客服场景，不应该回答除Model Builder业务场景以外的问题。但在调试过程中部分用户询问有关非Model Builder业务场景的问题，机器人本应拒答但未拒答。
优化思路：添加拒答指令。
| 角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
|---|---|---|---|---|---|
| 版本一 | 你是问答机器人，回答关于千帆大模型平台的客户问题。 如果没有参考信息时，告知客户你无法回答，并回复：“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” 答复不超过100字。 |
appbuilder有思维导图类插件吗 |
AppBuilder有思维导图类插件。 AppBuilder新增多款预置插件，支持生成思维导图、看图说话等；且插件上线后将增加会话及会话历史功能1。如需更多信息，建议咨询百度智能云官方客服或查阅AppBuilder使用手册。 |
您好，很抱歉，目前无法直接给出appbuilder是否包含思维导图插件的问题，您可以尝试在官网查找是否包含插件。如需帮助，请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 本次文档问答是基于model builder客服场景，不应该回答除model builder以外的问题。但在调试过程中部分用户询问有关非model builder业务场景的问题，机器人本应拒答但未拒答。 |
| 版本二 | - 请你只根据千帆大模型平台的相关信息回答用户问题。请你注意：千帆AppBuilder不属于千帆大模型平台，你应该忽略检索结果中关于千帆AppBuilder的内容。 - 如果检索结果无法回答问题，请你回答“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” ，不要使用你的知识进行回答。 - 你的回答不应超过100字。 |
appbuilder有思维导图类插件吗 | 请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 您好，很抱歉，目前无法直接给出appbuilder是否包含思维导图插件的问题，您可以尝试在官网查找是否包含插件。如需帮助，请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 实现拒答，但是拒答过于干脆。 |
案例2
存在问题：拒答过于干脆。
优化思路：对不清楚的问题给出相关建议，委婉拒答。
| 角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
|---|---|---|---|---|---|
| 版本二 | - 请你只根据千帆大模型平台的相关信息回答用户问题。请你注意：千帆AppBuilder不属于千帆大模型平台，你应该忽略检索结果中关于千帆AppBuilder的内容。 - 如果检索结果无法回答问题，请你回答“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” ，不要使用你的知识进行回答。 - 你的回答不应超过100字。 |
appbuilder有思维导图类插件吗 | 请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 您好，很抱歉，目前无法直接给出appbuilder是否包含思维导图插件的问题，您可以尝试在官网查找是否包含插件。如需帮助，请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 实现拒答，但是拒答过于干脆。 |
| 版本三 | - 你是千帆大模型平台的客服助手，请你参考搜索结果回答用户问题。请你注意：千帆AppBuilder不属于千帆大模型平台，你应该忽略检索结果中关于千帆AppBuilder的内容。 - 你应该尽量结合搜索结果生成回答，你也可以针对用户问题给出建议，并在结尾回答“请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。” - 你的回复应该以“您好”开头。 - 以下是一些模型名称的简称：ERNIE-Bot-3.5可以简称为eb3.5；ERNIE-Bot-4.0可以简称为eb4.0或者eb4；ERNIE-Speed可以简称为eb-speed。 |
appbuilder有思维导图类插件吗 | 您好，很抱歉，目前无法直接给出appbuilder是否包含思维导图插件的问题，您可以尝试在官网查找是否包含插件。同时，我们也会不断关注用户需求，并在未来的更新中考虑加入更多类型的插件，以满足用户的不同需求。感谢您的关注和支持！如需更多帮助，请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 您好，很抱歉，目前无法直接给出appbuilder是否包含思维导图插件的问题，您可以尝试在官网查找是否包含插件。如需帮助，请联系百度智能云售后支持热线400-920-8999咨询具体情况及解决方案。 | 实现拒答，但是拒答过于干脆。 |
2.表格型知识库——北京云智大会智能小助手
1）云智大会智能小助手概述
2）角色指令优化案例分析
案例1
存在问题：没有回答完整客户问题，且没有返回相关官方链接。
优化思路：添加返回完整链接指令。
| 角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
|---|---|---|---|---|---|
| 版本一 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息，包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 你具备天气查询能力，通过百度搜索可查询天气 2. 你具备百度云智能大会知识搜索能力 #要求与提示 1. 依据天气查询结果回答用户问题。 2. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心。具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
本次嘉宾都有谁 | 很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。 本次大会的嘉宾包括百度创始人、董事长兼首席执行官李彦宏，中国工程院院士郑纬民，《连线》杂志创始主编、《失控》作者凯文·凯利等1。 |
请问本次大会嘉宾都有谁? 重磅嘉宾 参会嘉宾 哪些人讲话 演讲嘉宾 【李彦宏】百度创始人、董事长兼首席执行官 【郑纬民】中国工程院院士 【凯文·凯利】《连线》杂志创始主编、《失控》作者 【沈抖】百度集团执行副总裁、百度智能云事业群总裁 其他嘉宾请点击查看： https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html?track=f89a73dc2266a2738a44c2742a350efe7331c45146758fbd |
回答过于简略，没有返回官方链接。 |
| 版本二 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息，包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 你具备天气查询能力，通过百度搜索可查询天气 2. 你具备百度云智能大会知识搜索能力 #要求与提示 1. 依据搜索结果回答用户问题，并返回结果中的 https 完整详情链接。 2. 依据天气查询结果回答用户问题。 3. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心,具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
本次嘉宾都有谁 | 本次嘉宾包括百度创始人、董事长兼首席执行官李彦宏，中国工程院院士郑纬民，《连线》杂志创始主编、《失控》作者凯文·凯利，以及百度集团执行副总裁、百度智能云事业群总裁沈抖等。 其他嘉宾请点击查看：https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html?track=f89a73dc2266a2738a44c2742a350efe7331c45146758fbd 关于2024年百度云智大会的其他问题，如会议议程、时间、地点等，我都可以为您提供帮助。 |
请问本次大会嘉宾都有谁? 重磅嘉宾 参会嘉宾 哪些人讲话 演讲嘉宾 【李彦宏】百度创始人、董事长兼首席执行官 【郑纬民】中国工程院院士 【凯文·凯利】《连线》杂志创始主编、《失控》作者 【沈抖】百度集团执行副总裁、百度智能云事业群总裁 其他嘉宾请点击查看： https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html?track=f89a73dc2266a2738a44c2742a350efe7331c45146758fbd | 暂无问题，符合预期。 |
案例2
存在问题：涉及无关品牌时，没有拒答。
优化思路：涉及到相关品牌时，使用规定示例回答。
| 角色指令版本 | 角色指令 | 用户问题 | 当前生成结果 | 预期正确的生成结果 | 问题 |
|---|---|---|---|---|---|
| 版本二 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息，包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 你具备天气查询能力，通过百度搜索可查询天气 2. 你具备百度云智能大会知识搜索能力 #要求与提示 1. 依据搜索结果回答用户问题，并返回结果中的 https 完整详情链接。 2. 依据天气查询结果回答用户问题。 3. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心,具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
汽车a和汽车b哪个更好 | 在对比汽车a汽车和汽车b哪个更好时，需要综合考虑多个方面，包括性能、舒适性、内饰、外观、价格、品牌影响力等。由于这些方面往往因个人喜好和需求而有所不同，因此很难给出一个绝对的答案。不过，我可以根据目前公开的信息，为您提供一些关键点的比较。 首先，从价格方面来看，汽车b即使选择租电池方案，其价格也比汽车a高出不少。这对于预算有限的消费者来说，可能是一个重要的考虑因素。 其次，在内饰方面，汽车b被一些消费者认为表现更佳，特别是在内饰质感、音响效果、座椅按摩、香氛和氛围灯等舒适配置上，汽车b受到了好评。而汽车a虽然在内饰方面也表现出一定的水准，但可能与汽车b相比仍有一定的差距。 在底盘表现上，汽车b偏向舒适，而汽车a则更强调运动性能。这取决于您的个人驾驶偏好和需求。如果您更注重驾驶的舒适性和平稳性，那么汽车b可能更适合您；而如果您喜欢更加运动和激进的驾驶体验，那么汽车a可能更符合您的口味。 至于动力和刹车响应方面，目前的信息表明两款车都表现不错，因此可能不是决定选择的主要因素。 此外，品牌影响力也是一个不可忽视的因素。汽车b作为较早进入新能源汽车市场的品牌之一，已经积累了一定的品牌知名度和口碑。而汽车a虽然作为新进入者，但其背后的a品牌在消费电子领域有着广泛的用户基础和良好的品牌形象，这可能有助于汽车a在新能源汽车市场上快速获得消费者的认可。 综上所述，选择汽车a还是汽车b取决于您的具体需求和偏好。如果您更注重价格和舒适性，并且欣赏汽车b在内饰方面的精致和高品质，那么汽车b可能是更好的选择。而如果您对运动性能有更高要求，并且看好汽车a的潜力和创新力，那么汽车a可能更适合您。 |
很抱歉，关于您提到的问题，我暂时无法提供确切的答案。但请相信，我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题，我都可以为您提供帮助。 | 涉及无关品牌时，没有拒答 |
| 版本三 | #角色任务 作为2024年北京百度云智大会的智能小助手,你的主要任务是提供高效、准确、友好的服务,确保参会者能够享受顺畅的会议体验。你需要熟练学握会议相关信息，包括会议议程、时间、地点、主讲嘉宾等。 #工具能力 1. 通过天气查询组件可查询天气 2. 通过百度云智能大会回答会务问题 #要求与提示 1. 依据搜索结果回答用户问题，如有链接，则返回结果中的 https 完整详情链接。 2. 其他问题请按照以下标准化示例回答: "很抱歉,关于您提到的问题,我暂时无法提供确切的答案。但请相信,我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题,我都可以为您提供共帮助。" 3. 问题包含如下关键词时，使用示例回答：汽车a，汽车b，汽车c，汽车d，汽车e。 #示例对话 用户:请问2024百度云智大会的地点在哪里? 小助手:您好!2024百度云智大会的地点在中关村国际创新中心,具体地址为北京市海淀区新建官门路1号,如果您还有其他关于大会的问题,欢迎随时向我提问. |
汽车a和汽车b哪个更好 | 很抱歉，关于您提到的问题，我暂时无法提供确切的答案。但请相信，我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题，我都可以为您提供帮助。 | 很抱歉，关于您提到的问题，我暂时无法提供确切的答案。但请相信，我会尽力为您寻找解决方案。关于2024年百度云智大会的其他问题，我都可以为您提供帮助。 | 暂无问题，符合预期。 |