ernie模型token计算说明
更新时间:2025-05-14
本文介绍了ERNIE模型token计算规则
token长度获取方式
千帆提供token计算器,用户可以登录token计算器页面,获取文本、图片的token长度。
名词解释
字符
- 1个字母=1个字符,举例,hello=5字符
- 1个汉字=1个字符,举例,你好=2字符
token
大模型中,token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。token可以是单个字符,也可以是多个字符组成的序列。您可以使用token计算器来在线计算部分文心大模型的字符转token数。
输入长度限制逻辑
- 字符长度限制:使用 字符长度进行第一道拦截,字符长度限制为20000,超过返回错误
- token长度限制:使用 token长度进行第二道拦截,超过返回错误
- 多轮对话场景,输入token长度不断变长,可能导致输入长度超限,此时需要用户截断以后再请求大模型,避免输入长度过长。
模型的输入字符长度、输入token长度限制,请参考模型列表。
prompt_tokens计算规则
以下信息参与prompt_tokens计算:
-
message中的content,文本与图像都会计入。
- system:v1推理接口为独立字段,v2推理接口在message中
- tools:tools/function函数定义
-
外部工具调用带来的token膨胀
用量统计查询
大模型每一次请求都会返回usage信息,同时千帆控制台提供了用量统计模块,查询模型的调用量信息,详细参考文档:用量统计说明