ERNIE-Tiny-128K-0929
更新时间：2025-01-08
ERNIE Tiny是百度自研的超高性能大语言模型，部署与精调成本在文心系列模型中最低。ERNIE-Tiny-128K-0929是2024年9月29日发布的版本，支持128K上下文长度。本文介绍了相关API。
接口描述
调用本接口，发起一次对话请求。
注意事项
- 调用本文API前，需先经过SFT模型训练后发布服务，相关内容请参考新手指南-平台使用快速开始。
鉴权说明
本文API，支持2种鉴权方式。不同鉴权方式，调用方式不同，使用Header、Query参数不同，详见本文请求说明。开发者可以选择以下任一种方式进行鉴权。
请求结构
以访问凭证access_token鉴权方式为例，说明调用API请求结构，示例如下。
POST /rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=24.4a3a19b******18992 HTTP/1.1
Host: aip.baidubce.com
Content-Type: application/json
{
"messages": [
{"role":"user","content":"介绍一下北京"}
]
}API地址说明
创建服务时填写的API地址，相关内容请查看模型服务-在线服务-服务配置。
请求头域
除公共头域外，无其它特殊头域。注意：鉴权方式不同，对应请求头域不同。
请求参数
- Query参数
只有访问凭证access_token鉴权方式，需使用Query参数。
访问凭证access_token鉴权
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| access_token | string | 是 | 通过API Key和Secret Key获取的access_token，参考Access Token获取 |
- Body参数
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| messages | List(message) | 是 | 聊天上下文信息。说明： （1）messages成员不能为空，1个成员表示单轮对话，多个成员表示多轮对话 （2）最后一个message为当前请求的信息，前面的message为历史对话信息 （3）必须为奇数个成员，成员中message的role必须依次为user、assistant （4）message中的content总长度和system字段总内容不能超过输入字符限制和输入tokens限制，请查看模型列表-模型操作-各模型上下文长度说明 |
| stream | bool | 否 | 是否以流式接口的形式返回数据，可选值： · true：是 · false：否，默认false |
| system | string | 否 | 模型人设，主要用于人设设定，例如：你是xxx公司制作的AI助手，说明： （1）长度限制请参考messages参数说明 |
| temperature | float | 否 | 说明： （1）较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定 （2）默认0.95，范围 (0, 1.0]，不能为0 |
| top_p | float | 否 | 说明： （1）影响输出文本的多样性，取值越大，生成文本的多样性越强 （2）默认0.7，取值范围 [0, 1.0] |
| penalty_score | float | 否 | 通过对已生成的token增加惩罚，减少重复生成的现象。说明： （1）值越大表示惩罚越大 （2）默认1.0，取值范围：[1.0, 2.0] |
| min_output_tokens | int | 否 | 指定模型最小输出token数，说明：该参数取值范围[2, 2048] |
| max_output_tokens | int | 否 | 指定模型最大输出token数，说明： （1）如果设置此参数，范围[2, 2048] （2）如果不设置此参数，最大输出token数为1024 |
| stop | List(string) | 否 | 生成停止标识，当模型生成结果以stop中某个元素结尾时，停止文本生成。说明： （1）每个元素长度不超过20字符 （2）最多4个元素 |
| frequency_penalty | float | 否 | 正值根据迄今为止文本中的现有频率对新token进行惩罚，从而降低模型逐字重复同一行的可能性；说明：默认0.1，取值范围[-2.0, 2.0] |
| presence_penalty | float | 否 | 正值根据token记目前是否出现在文本中来对其进行惩罚，从而增加模型谈论新主题的可能性；说明：默认0.0，取值范围[-2.0, 2.0] |
| diversity_penalty | float32 | 否 | 说明： （1）只支持私有资源池部署的模型 （2）此参数仅需在模型采用diversity- beamsearch策略时，与group_beam_seasrch配合使用；通过调节这一参数，可以灵活控制生成序列的多样性和质量：值越大，施加的惩罚越严重，生成的序列之间差异越大 （3）默认为0.0，取值范围：[0, 100]，参考值：5.0，10.0 |
| logprobs | bool | 否 | 是否在输出token的时候一并返回对数概率，说明： （1）只支持私有资源池部署的模型 （2）可选值： · true：是，在响应消息体中包含该内容 · talse：否，默认否 |
| top_logprobs | int | 否 | 指定为每个token位置返回多少最有可能的token，说明： （1）只支持私有资源池部署的模型 （2）使用该参数时，参数logprobs值必须为true （3）上限值由部署服务时制定 |
| enable_user_memory | bool | 否 | 是否开启用户记忆，说明： （1）false：未开启，默认false （2）true：表示开启，开启后，user_id 字段必填 |
| user_memory_extract_level | int | 否 | 用户记忆抽取级别，可选值： · 0：关闭抽取 · 1：实时抽取-普通抽取 · 2：实时抽取-高级抽取 |
| user_memory_level | int | 否 | 用户记忆召回强度，说明： （1）数值越大，记忆召回强度越高 （2）取值范围[0,4]，默认为1 |
| user_setting | string | 否 | 用户画像信息 |
| user_id | string | 否 | 表示最终用户的唯一标识符 |
| metadata | map<string,string> | 否 | 说明： （1）元素个数最大支持16个 （2）key和value必须都是string类型 |
message说明
| 名称 | 类型 | 描述 |
|---|---|---|
| role | string | 当前支持以下： user：表示用户 assistant：表示对话助手 |
| content | string | 对话内容，不能为空 |
响应头域
除公共头域外，无其它特殊头域。
响应参数
| 名称 | 类型 | 描述 |
|---|---|---|
| id | string | 本轮对话的id |
| object | string | 回包类型 chat.completion：多轮对话返回 |
| created | int | 时间戳 |
| sentence_id | int | 表示当前子句的序号。只有在流式接口模式下会返回该字段 |
| is_end | bool | 表示当前子句是否是最后一句。只有在流式接口模式下会返回该字段 |
| result | string | 对话返回结果 |
| need_clear_history | bool | 表示用户输入是否存在安全风险，是否关闭当前会话，清理历史会话信息。 true：是，表示用户输入存在安全风险，建议关闭当前会话，清理历史会话信息。 false：否，表示用户输入无安全风险 |
| flag | int | 安全细分类型，说明： · 0或不返回：安全 · 1：低危不安全场景，可以继续对话 · 2：禁聊：不允许继续对话，但是可以展示内容 · 3：禁止上屏：不允许继续对话且不能上屏展示 |
| ban_round | int | 当need_clear_history为true时，此字段会告知第几轮对话有敏感信息，如果是当前问题，ban_round=-1 |
| usage | usage | token统计信息 |
| is_truncated | bool | 当前生成的结果是否被截断 |
usage说明
| 名称 | 类型 | 描述 |
|---|---|---|
| prompt_tokens | int | 问题tokens数 |
| completion_tokens | int | 回答tokens数 |
| total_tokens | int | tokens总数 |
注意 ：同步模式和流式模式，响应参数返回不同，详细内容参考示例描述。
- 同步模式下，响应参数为以上字段的完整json包。
- 流式模式下，各字段的响应参数为 data: {响应参数}。
请求示例（单轮）
以访问凭证access_token鉴权方式为例，说明如何调用API，示例如下。
# 步骤一，获取access_token，替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'
# 步骤二，调用本文API，使用步骤一获取的access_token，替换下列示例中的”调用接口获取的access_token“；
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=[步骤一调用接口获取的access_token]' -d '{
"messages": [
{"role":"user","content":"介绍一下北京"}
]
}'import requests
import json
def get_access_token():
"""
使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key
"""
url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"
payload = json.dumps("")
headers = {
'Content-Type': 'application/json',
'Accept': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
return response.json().get("access_token")
def main():
url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=" + get_access_token()
payload = json.dumps({
"messages": [
{
"role": "user",
"content": "介绍一下北京"
}
]
})
headers = {
'Content-Type': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
print(response.text)
if __name__ == '__main__':
main()响应示例（单轮）
{
"id": "as-fkiyg0zixm",
"object": "chat.completion",
"created": 1709088025,
"result": "北京，作为中国的首都和直辖市，是中国政治、文化、科技和国际交往的中心。以下是关于北京的详细介绍：\n\n1. 地理位置：北京位于华北平原的西北部，背靠燕山，毗邻天津市和河北省。\n2. 历史背景：北京有着丰富的历史文化遗产。自元朝开始，这里就是中国的政治中心。明清两代，北京更是成为全国的政治和文化中心。著名的故宫、天坛、长城等历史遗迹见证了北京的辉煌历史。\n3. 文化特色：北京汇聚了中国的传统文化和现代文明。京剧、相声、舞龙舞狮等传统文化活动在这里得以传承和发展。同时，现代艺术、时尚和设计也在北京崭露头角。\n4. 教育资源：北京拥有众多知名高校，如北京大学、清华大学等，为培养人才提供了优质的教育资源。\n5. 科技产业：北京的科技产业发达，尤其是电子信息、生物医药等领域，吸引了众多国内外企业入驻。\n6. 经济发展：作为中国的经济中心之一，北京不仅有着现代服务业的蓬勃发展，还在金融、贸易、旅游等方面取得了显著成就。\n7. 旅游景点：北京拥有丰富的旅游资源，如故宫、天安门广场、长城、颐和园等著名景点，每年都吸引着大量国内外游客。\n8. 美食文化：北京的美食文化独具特色，如北京烤鸭、炸酱面、豆汁等，让游客流连忘返。\n\n总之，北京是一座充满历史底蕴、文化气息和现代文明的城市，也是中国走向世界的重要窗口。",
"is_truncated": false,
"need_clear_history": false,
"usage": {
"prompt_tokens": 2,
"completion_tokens": 335,
"total_tokens": 337
}
}请求示例（多轮）
# 步骤一，获取access_token，替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'
# 步骤二，调用本文API，使用步骤一获取的access_token，替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=[步骤一调用接口获取的access_token]' -d '{
"messages": [
{"role":"user","content":"介绍一下北京"},
{"role":"assistant","content":"北京，作为中国的首都和直辖市，是中国政治、文化、科技和国际交往的中心。以下是关于北京的详细介绍：\n\n1. 地理位置：北京位于华北平原的西北部，背靠燕山，毗邻天津市和河北省。\n2. 历史背景：北京有着丰富的历史文化遗产。自元朝开始，这里就是中国的政治中心。明清两代，北京更是成为全国的政治和文化中心。著名的故宫、天坛、长城等历史遗迹见证了北京的辉煌历史。\n3. 文化特色：北京汇聚了中国的传统文化和现代文明。京剧、相声、舞龙舞狮等传统文化活动在这里得以传承和发展。同时，现代艺术、时尚和设计也在北京崭露头角。\n4. 教育资源：北京拥有众多知名高校，如北京大学、清华大学等，为培养人才提供了优质的教育资源。\n5. 科技产业：北京的科技产业发达，尤其是电子信息、生物医药等领域，吸引了众多国内外企业入驻。\n6. 经济发展：作为中国的经济中心之一，北京不仅有着现代服务业的蓬勃发展，还在金融、贸易、旅游等方面取得了显著成就。\n7. 旅游景点：北京拥有丰富的旅游资源，如故宫、天安门广场、长城、颐和园等著名景点，每年都吸引着大量国内外游客。\n8. 美食文化：北京的美食文化独具特色，如北京烤鸭、炸酱面、豆汁等，让游客流连忘返。\n\n总之，北京是一座充满历史底蕴、文化气息和现代文明的城市，也是中国走向世界的重要窗口。"},
{"role":"user","content": "北京有哪些著名景点"}
]
}'import requests
import json
def get_access_token():
"""
使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key
"""
url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"
payload = json.dumps("")
headers = {
'Content-Type': 'application/json',
'Accept': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
return response.json().get("access_token")
def main():
url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=" + get_access_token()
payload = json.dumps({
"messages": [
{
"role": "user",
"content": "介绍一下北京"
},
{
"role": "assistant",
"content": "北京，作为中国的首都和直辖市，是中国政治、文化、科技和国际交往的中心。以下是关于北京的详细介绍：\n\n1. 地理位置：北京位于华北平原的西北部，背靠燕山，毗邻天津市和河北省。\n2. 历史背景：北京有着丰富的历史文化遗产。自元朝开始，这里就是中国的政治中心。明清两代，北京更是成为全国的政治和文化中心。著名的故宫、天坛、长城等历史遗迹见证了北京的辉煌历史。\n3. 文化特色：北京汇聚了中国的传统文化和现代文明。京剧、相声、舞龙舞狮等传统文化活动在这里得以传承和发展。同时，现代艺术、时尚和设计也在北京崭露头角。\n4. 教育资源：北京拥有众多知名高校，如北京大学、清华大学等，为培养人才提供了优质的教育资源。\n5. 科技产业：北京的科技产业发达，尤其是电子信息、生物医药等领域，吸引了众多国内外企业入驻。\n6. 经济发展：作为中国的经济中心之一，北京不仅有着现代服务业的蓬勃发展，还在金融、贸易、旅游等方面取得了显著成就。\n7. 旅游景点：北京拥有丰富的旅游资源，如故宫、天安门广场、长城、颐和园等著名景点，每年都吸引着大量国内外游客。\n8. 美食文化：北京的美食文化独具特色，如北京烤鸭、炸酱面、豆汁等，让游客流连忘返。\n\n总之，北京是一座充满历史底蕴、文化气息和现代文明的城市，也是中国走向世界的重要窗口。"
},
{
"role": "user",
"content": "北京有哪些著名景点"
}
]
})
headers = {
'Content-Type': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
print(response.text)
if __name__ == '__main__':
main()
响应示例（多轮）
{
"id": "as-tsfapg1k0z",
"object": "chat.completion",
"created": 1709088173,
"result": "北京有许多著名景点，其中包括天安门广场、故宫、长城、颐和园、天坛公园、圆明园、北海公园、北京欢乐谷等。天安门广场是北京的地标性景点之一，是世界上最大的城市广场之一；故宫是中国古代皇宫建筑的代表之一，也是世界文化遗产；长城是中国古代的军事防御工程，被誉为世界八大奇迹之一；颐和园是一座大型皇家园林，具有极高的艺术价值；天坛公园是古代皇家祭天和祈年的地方，也是中国现存最大的圜丘祈年建筑群；圆明园是清朝皇家的花园，融合了中西园林艺术的精华；北海公园是一座具有独特北方风格的皇家园林；北京欢乐谷是一个大型主题公园，集游乐、演艺、科普、文化等多种元素于一体。此外，北京还有许多其他著名景点，如慕田峪长城、八达岭长城等。",
"is_truncated": false,
"need_clear_history": false,
"usage": {
"prompt_tokens": 341,
"completion_tokens": 189,
"total_tokens": 530
}
}请求示例（流式）
# 步骤一，获取access_token，替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'
# 步骤二，调用本文API，使用步骤一获取的access_token，替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=[步骤一调用接口获取的access_token]' -d '{
"messages": [
{"role":"user", "content": "给我推荐一些自驾游路线"}
],
"stream": true
}'import requests
import json
def get_access_token():
"""
使用 API Key，Secret Key 获取access_token，替换下列示例中的应用API Key、应用Secret Key
"""
url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"
payload = json.dumps("")
headers = {
'Content-Type': 'application/json',
'Accept': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
return response.json().get("access_token")
def main():
url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/[创建服务时填写的API名称]?access_token=" + get_access_token()
payload = json.dumps({
"messages": [
{
"role": "user",
"content": "给我推荐一些自驾游路线"
}
],
"stream": True
})
headers = {
'Content-Type': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload, stream=True)
for line in response.iter_lines():
print(line.decode("UTF-8"))
if __name__ == '__main__':
main()
响应示例（流式）
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088340,"sentence_id":0,"is_end":false,"is_truncated":false,"result":"以下为您","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088341,"sentence_id":1,"is_end":false,"is_truncated":false,"result":"推荐几条经典的自驾游路线：\n\n1. 海南环岛自驾游：从海口出发，沿着海南岛的海岸线前行，途经三亚、","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088341,"sentence_id":2,"is_end":false,"is_truncated":false,"result":"陵水、万宁等城市，欣赏海南的热带风情和美丽的海景。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088342,"sentence_id":3,"is_end":false,"is_truncated":false,"result":"\n2. 西藏自驾游：从拉萨出发，沿途可以欣赏到壮丽的雪山、草原、湖泊等自然景观，体验浓郁的藏族文化。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088342,"sentence_id":4,"is_end":false,"is_truncated":false,"result":"\n3. 丽江-香格里拉自驾游：从丽江古城出发，前往香格里拉，沿途可以游览泸沽湖、虎跳峡等景点，感受云南的","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088342,"sentence_id":5,"is_end":false,"is_truncated":false,"result":"多元文化和自然风光。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088343,"sentence_id":6,"is_end":false,"is_truncated":false,"result":"\n4. 桂林-阳朔自驾游：桂林的漓江风光是必游之地，此外还可以前往阳朔的西街、十里画廊等景点，品尝","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088343,"sentence_id":7,"is_end":false,"is_truncated":false,"result":"当地美食，感受桂林山水甲天下的魅力。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088344,"sentence_id":8,"is_end":false,"is_truncated":false,"result":"\n5. 大理-洱海自驾游：在大理游览古城、洱海等景点后，可以前往周边的苍山、剑川等地，体验白族","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088344,"sentence_id":9,"is_end":false,"is_truncated":false,"result":"文化和自然风光。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088344,"sentence_id":10,"is_end":false,"is_truncated":false,"result":"\n6. 乌鲁木齐-天山自驾游：新疆的天山风光壮美，可以沿途游览天山天池、喀纳斯湖等景点，感受大自然的神奇魅力","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":0,"total_tokens":6}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088344,"sentence_id":11,"is_end":false,"is_truncated":false,"result":"。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":263,"total_tokens":269}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088345,"sentence_id":12,"is_end":false,"is_truncated":false,"result":"\n7. 北京周边自驾游：北京周边有许多美丽的景点，比如坝上草原、承德避暑山庄、北戴河等，适合周末短途自驾游。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":263,"total_tokens":269}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088345,"sentence_id":13,"is_end":false,"is_truncated":false,"result":"\n8. 丝绸之路自驾游：从西安出发，沿着丝绸之路一路向西，可以游览许多历史文化遗址和自然景观。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":263,"total_tokens":269}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088345,"sentence_id":14,"is_end":false,"is_truncated":false,"result":"\n\n您可以根据自己的兴趣和时间来选择合适的路线，同时注意安全驾驶，享受旅行的乐趣。","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":263,"total_tokens":269}}
data: {"id":"as-34jurid5xf","object":"chat.completion","created":1709088346,"sentence_id":15,"is_end":true,"is_truncated":false,"result":"","need_clear_history":false,"usage":{"prompt_tokens":6,"completion_tokens":351,"total_tokens":357}}错误码
如果请求错误，服务器返回的JSON文本包含以下参数。
| 名称 | 描述 |
|---|---|
| error_code | 错误码 |
| error_msg | 错误描述信息，帮助理解和解决发生的错误 |
例如Access Token失效返回以下内容，需要重新获取新的Access Token再次请求。
{
"error_code": 110,
"error_msg": "Access token invalid or no longer valid"
}更多相关错误码，请查看错误码说明。