推理服务API介绍

本文介绍了千帆ModelBuilder提供的推理服务API相关能力，以及如何调用API的流程等。

API 列表

千帆ModelBuilder提供了丰富的推理服务API，包括对话Chat、续写Completions、向量Embeddings、批量预测等API能力。平台提供了不同版本内容，供开发者使用。详情请查看API列表。

V2版本

为提升使用体验，平台新增支持V2版本模型服务API，完全兼容OpenAI标准（包含身份认证、接口协议），V2版本支持以下功能。

• 对话Chat：支持创建chat，用于发起一次对话。

V1版本

V1版本支持功能如下。

• 对话Chat：支持创建chat，用于发起一次对话。
• 续写Completions：支持创建completion，用于发起一次续写请求，不支持多轮会话等。
• 向量Embeddings：支持Embeddings，用于根据输入内容生成对应的向量表示。
• 重排序Reranker：支持重排序Reranker，用于重新排序向量模型返回的top-k文档，优化语义搜索结果
• 自定义模型：平台支持HuggingFace Transformer架构的自定义大模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
• 图像Images：提供图像相关API能力。
• Token计算，根据输入计算token数。
• 批量预测：提供创建批量预测任务、获取批量预测任务详情等能力。

HTTP调用API流程介绍

HTTP调用API，不同版本鉴权方式不同，调用流程不同。

• V2版本，仅支持使用Bearer token鉴权方式。
• V1版本，有以下2种API调用流程，更多详情请查看 HTTP调用API流程介绍。

· 使用access_token进行鉴权调用API流程

· 基于安全认证AK/SK进行鉴权调用API流程

SDK调用

千帆ModelBuilder提供了多种语言的SDK，开发者可使用SDK，快捷地开发功能，提升开发效率。更多SDK调用介绍，请参考SDK介绍。

千帆ModelBuilder SDK已开源，欢迎广大开发者加入交流，详见千帆ModelBuilder SDK开源说明。

千帆ModelBuilder提供了以下SDK，当前仅支持V1版本API调用：

• Python SDK，支持 Python >= 3.7版本，请查看Python SDK安装及使用流程
• Go SDK，支持 Golang >= 1.18 版本，请查看Go SDK安装及使用流程
• Java SDK，支持 JDK >= 1.8 版本，请查看Java SDK安装及使用流程
• Node.js SDK，请查看Node.js SDK安装及使用流程

在线调试

千帆ModelBuilder提供了 API在线调试平台-示例代码 ，用于帮助开发者调试接口，平台集成快速检索、查看开发文档、查看在线调用的请求内容和返回结果、复制和下载示例代码等功能，简单易用，更多内容请查看API在线调试介绍。

注意：当前仅支持在线调试V1版本API。

命令行CLI工具

千帆ModelBuilder提供了命令行CLI工具，方便在命令行中直接使用相关功能，如提供了对话Chat、续写Completions、图像Images等。

错误码

在调用API请求后，可以通过返回的错误码、错误信息及排查建议等进行问题排查，请参考错误码列表。