prompt cache
更新时间：2025-04-11
什么是prompt cache
模型的prompt中经常包含一些重复性的内容，例如人设system与常用说明等。如果系统将这种包含较多重复信息的prompt请求路由到处理过相同提示的服务器，那么处理速度将比从头开始处理请求更快。对于支持prompt cache功能的模型，系统会自动为所有用户开启prompt cache模式，用户无需修改代码即可享受该功能。对于用户的每次请求，系统会判断并查找该请求的前缀部分是否已存储在缓存中，并返回命中Cache的结果。
支持模型范围
- ERNIE-4.0-Turbo-8K
如何计费
若您的请求命中 Cache 缓存，cached_tokens（命中缓存token）按照prompt_tokens的40%单价计算。命中Cache将降低您的调用成本，单次调用按量后付费计费示意图如下：
查看缓存命中情况
API返回的usage字段中的cached_tokens字段，可反映请求的缓存命中情况。当本次请求已命中缓存，usage中返回cached_tokens字段，cached_tokens中返回的数据代表命中缓存的token数量。
说明：
- 系统将定期清理一段时间没有使用过的缓存，且上下文缓存的命中概率并不是100%，即使是上下文完全一致的请求，也存在无法命中的概率，命中概率依据系统判断而定。
请求示例
第一次请求：
curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
--header 'Content-Type: application/json' \
--data '{
"model": "ernie-4.0-turbo-8k",
"messages": [
{"role": "system", "content": "你是一位阅读理解高手"} ,
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台，不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种AI开发工具和整套开发环境，从数据管理到服务云端部署，完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求，千帆ModelBuilder提供不同的功能服务。例如，智能对话、智能输入法等通用应用场景，可在千帆ModelBuilder直接体验文心一言企业级推理云服务，并进行业务集成；细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整，则可在千帆ModelBuilder使用模型在线微调训练功能，快速生成行业场景定制模型服务，满足用户特定需求。>这段文字表达了什么内容？"
}
]
}'第n次请求：
curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
--header 'Content-Type: application/json' \
--data '{
"model": "ernie-4.0-turbo-8k",
"messages": [
{"role": "system", "content": "你是一位阅读理解高手"} ,
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台，不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种AI开发工具和整套开发环境，从数据管理到服务云端部署，完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求，千帆ModelBuilder提供不同的功能服务。例如，智能对话、智能输入法等通用应用场景，可在千帆ModelBuilder直接体验文心一言企业级推理云服务，并进行业务集成；细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整，则可在千帆ModelBuilder使用模型在线微调训练功能，快速生成行业场景定制模型服务，满足用户特定需求。>这段文字的主题是什么？"
}
]
}'命中后返回示例
{
"id": "as-v6qi7s8npi",
"object": "chat.completion",
"created": 1738921593,
"model": "ernie-4.0-turbo-8k",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "这段文字的主题是介绍百度智能云千帆大模型服务与开发平台（ModelBuilder）的功能和特点。它详细描述了这个平台如何作为一站式大模型开发及服务运行平台，支持企业开发者从数据管理到服务云端部署的完备流程，并满足各行业生成式AI应用需求。同时，还强调了平台提供的不同功能服务，如直接体验文心一言企业级推理云服务、使用模型在线微调训练功能等，以满足用户的特定需求。"
},
"finish_reason": "normal",
"flag": 0
}
],
"usage": {
"prompt_tokens": 159,
"completion_tokens": 89,
"total_tokens": 248,
"prompt_tokens_details": {
"cached_tokens": 128
}
}
}