资讯 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

ernie模型token计算说明

本文介绍了ERNIE模型token计算规则

token长度获取方式

千帆提供token计算器,用户可以登录token计算器页面,获取文本、图片的token长度。

名词解释

字符

  • 1个字母=1个字符,举例,hello=5字符
  • 1个汉字=1个字符,举例,你好=2字符

token

大模型中,token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。token可以是单个字符,也可以是多个字符组成的序列。您可以使用token计算器来在线计算部分文心大模型的字符转token数。

输入长度限制逻辑

  • 字符长度限制:使用 字符长度进行第一道拦截,字符长度限制为20000,超过返回错误
  • token长度限制:使用 token长度进行第二道拦截,超过返回错误
  • 多轮对话场景,输入token长度不断变长,可能导致输入长度超限,此时需要用户截断以后再请求大模型,避免输入长度过长。

模型的输入字符长度、输入token长度限制,请参考模型列表

prompt_tokens计算规则

以下信息参与prompt_tokens计算:

  • message中的content,文本与图像都会计入。

    • system:v1推理接口为独立字段,v2推理接口在message中
  • tools:tools/function函数定义
  • 外部工具调用带来的token膨胀

用量统计查询

大模型每一次请求都会返回usage信息,同时千帆控制台提供了用量统计模块,查询模型的调用量信息,详细参考文档:用量统计说明

上一篇
续费和退款说明
下一篇
开源模型token计算说明