千帆大模型输入输出长度统一规范
更新时间：2024-03-08
名词解释
字符
- 1个字母=1个字符，举例，hello=5字符
- 1个汉字=1个字符，举例，你好=2字符
token
大模型中，token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。token可以是单个字符，也可以是多个字符组成的序列。
您可以使用token计算器来在线计算部分文心大模型的字符转token数。
输入长度限制逻辑
- 字符长度限制：使用 输入token长度*4 进行第一道拦截，比如eb3.5-4k接口，输入token长度限制为2k，字符长度限制为8k，超过返回错误码 336007-the max length of current question is 8000
- token长度限制：
使用 token长度进行第二道拦截，超过返回错误码 336103-Prompt tokens too long - 去除遗忘逻辑，需要开发者限制传入token长度。
- 具体长度限制可以参考下文当中的表格。
token计算器
- 用户可以使用在线token计算器测试token长度：https://console.bce.baidu.com/tools/#/tokenizer
-
用户也可以调用tokenizer接口获取token长度。
大语言模型
ERNIE系列模型
备注：token 1k=1024，5k 输入限制对应5120 tokens
第三方开源模型
向量模型
当前支持的千帆线上接口地址如下：
| 接口名 | 输入限制（字符） | 输入限制(tokens） | 批次(batch) | 接口调用地址 | 接口文档 |
|---|---|---|---|---|---|
| Embedding-V1 | 1000 | 384 | 16 | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/embedding-v1 | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/alj562vvu |
| bge-large-zh | 20000 | 512 | 16 | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/bge_large_zh | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/dllz04sro |
| bge-large-en | 2000 | 512 | 16 | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/bge_large_en | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/mllz05nzk |
| tao-8k | 28000 | 8192 | 1（只支持1） | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/tao_8k | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/7lq0buxys |