prompt cache上线公告
更新时间：2025-03-17
功能介绍
千帆ModelBuilder平台已上线prompt cache上下文缓存功能。该功能对所有用户默认开启，用户无需修改代码即可使用。
支持模型范围
| 模型名称 | 输入价格 （缓存命中） | 输入价格 （缓存未命中） | 输出价格 |
|---|---|---|---|
| ERNIE-4.0-Turbo-8K | 0.0012元/千tokens | 0.003元/千tokens | 0.009元/千tokens |
如何计费
若您的请求命中 Cache 缓存，cached_tokens（命中缓存token）按照prompt_tokens的40%单价计算。
命中Cache将降低您的调用成本，单次调用按量后付费计费示意图如下：
查看缓存命中情况
在ERNIE-4.0-Turbo-8K预置服务API返回的usage字段中增加了cached_tokens字段，来反映请求的缓存命中情况。当本次请求已命中缓存，usage中返回cached_tokens字段，cached_tokens中返回的数据代表命中缓存的token数量。
说明： 系统将定期清理一段时间没有使用过的缓存，且上下文缓存的命中概率并不是100%，即使是上下文完全一致的请求，也存在无法命中的概率，命中概率依据系统判断而定。
- v2版本请求详情
请求示例
第一次请求：
curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
--header 'Content-Type: application/json' \
--data '{
"model": "ernie-4.0-turbo-8k",
"messages": [
{"role": "system", "content": "你是一位阅读理解高手"} ,
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台，不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种AI开发工具和整套开发环境，从数据管理到服务云端部署，完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求，千帆ModelBuilder提供不同的功能服务。例如，智能对话、智能输入法等通用应用场景，可在千帆ModelBuilder直接体验文心一言企业级推理云服务，并进行业务集成；细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整，则可在千帆ModelBuilder使用模型在线微调训练功能，快速生成行业场景定制模型服务，满足用户特定需求。>这段文字表达了什么内容？"
}
]
}'第n次请求：
curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
--header 'Content-Type: application/json' \
--data '{
"model": "ernie-4.0-turbo-8k",
"messages": [
{"role": "system", "content": "你是一位阅读理解高手"} ,
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台，不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种AI开发工具和整套开发环境，从数据管理到服务云端部署，完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求，千帆ModelBuilder提供不同的功能服务。例如，智能对话、智能输入法等通用应用场景，可在千帆ModelBuilder直接体验文心一言企业级推理云服务，并进行业务集成；细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整，则可在千帆ModelBuilder使用模型在线微调训练功能，快速生成行业场景定制模型服务，满足用户特定需求。>这段文字的主题是什么？"
}
]
}'请求成功后返回示例
{
"id": "as-v6qi7s8npi",
"object": "chat.completion",
"created": 1738921593,
"model": "ernie-4.0-turbo-8k",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "这段文字的主题是介绍百度智能云千帆大模型服务与开发平台（ModelBuilder）的功能和特点。它详细描述了这个平台如何作为一站式大模型开发及服务运行平台，支持企业开发者从数据管理到服务云端部署的完备流程，并满足各行业生成式AI应用需求。同时，还强调了平台提供的不同功能服务，如直接体验文心一言企业级推理云服务、使用模型在线微调训练功能等，以满足用户的特定需求。"
},
"finish_reason": "normal",
"flag": 0
}
],
"usage": {
"prompt_tokens": 159,
"completion_tokens": 89,
"total_tokens": 248,
"prompt_tokens_details": {
"cached_tokens": 128
}
}
}