ernie模型token计算说明
更新时间：2025-05-14
本文介绍了ERNIE模型token计算规则
token长度获取方式
千帆提供token计算器，用户可以登录token计算器页面，获取文本、图片的token长度。
名词解释
字符
- 1个字母=1个字符，举例，hello=5字符
- 1个汉字=1个字符，举例，你好=2字符
token
大模型中，token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。token可以是单个字符，也可以是多个字符组成的序列。您可以使用token计算器来在线计算部分文心大模型的字符转token数。
输入长度限制逻辑
- 字符长度限制：使用 字符长度进行第一道拦截，字符长度限制为20000，超过返回错误
- token长度限制：使用 token长度进行第二道拦截，超过返回错误
- 多轮对话场景，输入token长度不断变长，可能导致输入长度超限，此时需要用户截断以后再请求大模型，避免输入长度过长。
模型的输入字符长度、输入token长度限制，请参考模型列表。
prompt_tokens计算规则
以下信息参与prompt_tokens计算:
-
message中的content，文本与图像都会计入。
- system：v1推理接口为独立字段，v2推理接口在message中
- tools：tools/function函数定义
-
外部工具调用带来的token膨胀
用量统计查询
大模型每一次请求都会返回usage信息，同时千帆控制台提供了用量统计模块，查询模型的调用量信息，详细参考文档：用量统计说明