推理服务API介绍

本文介绍了千帆ModelBuilder提供的推理服务API相关能力，以及如何调用API的流程等。

API 列表

千帆ModelBuilder提供了丰富的推理服务API，包括对话Chat、续写Completions、向量Embeddings、批量预测等API能力。平台提供了不同版本内容，供开发者使用。详情请查看开始使用-模型列表。

V2版本

为提升使用体验，平台新增支持V2版本模型服务API，完全兼容OpenAI标准（包含身份认证、接口协议），V2版本支持以下功能。

• 文本生成：支持创建chat，用于发起一次对话。
• 图像理解：可根据用户输入的图像和文字，回答图像有关问题。
• 原生多模态：多模态基础大模型通过多个模态联合建模实现协同优化，多模态理解能力优秀；具备更精进的语言能力，理解、生成、逻辑、记忆能力全面提升，去幻觉、逻辑推理、代码能力显著提升。
• 图像生成：根据输入的文本或图片生成图片。
• 图像编辑：对图像进行编辑。
• 向量：用于根据输入内容生成对应的向量表示。
• 重排序：用于重新排序向量模型返回的top-k文档，优化语义搜索结果。
• 阅读助手插件：插件主要进行文档分析、网页解析，支持长传文档、网页，对其内容做摘要、分析、整理等任务。

V1版本

V1版本支持功能如下。

• 对话Chat：支持创建chat，用于发起一次对话。
• 续写Completions：支持创建completion，用于发起一次续写请求；不支持多轮会话。
• 向量Embeddings：支持Embeddings，用于根据输入内容生成对应的向量表示。
• 重排序Reranker：支持重排序Reranker，用于重新排序向量模型返回的top-k文档，优化语义搜索结果
• 自定义模型：平台支持HuggingFace Transformer架构的自定义大模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
• 图像Images：提供图像相关API能力。
• Token计算，根据输入计算token数。

HTTP调用API流程介绍

HTTP调用API，不同版本鉴权方式不同，调用流程不同。

• V2版本，仅支持使用API Key鉴权方式。
• V1版本，有以下2种API调用流程，更多详情请查看 HTTP调用API流程介绍。

· 使用access_token进行鉴权调用API流程

· 基于安全认证AK/SK进行鉴权调用API流程

SDK调用

千帆ModelBuilder提供了多种语言的SDK，开发者可使用SDK，快捷地开发功能，提升开发效率。更多SDK调用介绍，请参考SDK介绍。

千帆ModelBuilder SDK已开源，欢迎广大开发者加入交流，详见千帆ModelBuilder SDK开源说明。

在线调试

千帆ModelBuilder提供了 API在线调试平台-示例代码 ，用于帮助开发者调试接口，平台集成快速检索、查看开发文档、查看在线调用的请求内容和返回结果、复制和下载示例代码等功能，简单易用，更多内容请查看API在线调试介绍。

错误码

在调用API请求后，可以通过返回的错误码、错误信息及排查建议等进行问题排查，请参考错误码列表。