推理服务API介绍

本文介绍了千帆ModelBuilder提供的推理服务API相关能力，以及如何调用API的流程等。

API 列表

千帆ModelBuilder提供了丰富的推理服务API，包括对话Chat、续写Completions、向量Embeddings、批量预测等API能力。平台提供了不同版本内容，供开发者使用。详情请查看开始使用-模型列表。

为提升使用体验，平台新增支持V2版本模型服务API，完全兼容OpenAI标准（包含身份认证、接口协议），V2版本支持以下功能。

• 文本生成：支持创建chat，用于发起一次对话。
• 视觉理解：可根据用户输入的图像和文字，回答有关问题。
• 图像生成：根据输入的文本或图片生成图片。
• 视频生成：根据输入的文/图/文和图生成视频。
• 图像编辑：对图像进行编辑。
• 向量：用于根据输入内容生成对应的向量表示。
• 重排序：用于重新排序向量模型返回的top-k文档，优化语义搜索结果。
• 阅读助手插件：插件主要进行文档分析、网页解析，支持长传文档、网页，对其内容做摘要、分析、整理等任务。

HTTP调用API流程介绍

参考：快速开始-调用模型服务

SDK调用

参考：OpenAI SDK兼容介绍

在线调试

千帆ModelBuilder提供了 API在线调试平台-示例代码 ，用于帮助开发者调试接口，平台集成快速检索、查看开发文档、查看在线调用的请求内容和返回结果、复制和下载示例代码等功能，简单易用，更多内容请查看API在线调试介绍。

错误码

在调用API请求后，可以通过返回的错误码、错误信息及排查建议等进行问题排查，请参考错误码。