SDK介绍

更新时间：2025-01-09

千帆ModelBuilder提供了多种语言的SDK，如Python、Go、Java和Node.js SDK。开发者可使用 SDK，快捷地开发功能，提升开发效率。SDK 支持推理服务API调用，如对话Chat、续写Completions、向量Embeddings等；也支持平台功能相关API调用，如模型管理、模型服务、模型调优等。

SDK开源说明

千帆ModelBuilder SDK已开源，欢迎广大开发者加入交流，详见千帆ModelBuilder SDK开源说明。

使用教程

平台提供了一些快速入门使用教程，帮助开发者快速上手。

Python SDK调用对话Chat V1教程：介绍了如何通过Python SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
Go SDK调用对话Chat V1教程：介绍了如何通过Go SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
Java SDK调用对话Chat V1教程：介绍了如何通过Java SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
Node.js SDK调用对话Chat V1教程：介绍了如何通过Node.js SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
Python SDK调用图像Images教程：介绍了如何使用千帆Python SDK 实现根据文本生成图片。
平台功能API调用示例：介绍了如何使用千帆Python SDK，实现调用模型服务-获取预置服务列表API。

SDK 支持的语言及版本

千帆ModelBuilder提供了以下语言SDK：

Python SDK，支持 Python >= 3.7版本
Go SDK，支持 Golang >= 1.18 版本
Java SDK，支持 JDK >= 1.8 版本
Node.js SDK

SDK 安装及使用说明

Python SDK，请查看Python SDK 安装及使用说明
Go SDK，请查看Go SDK 安装及使用说明
Java SDK，请查看Java SDK说明文档
Node.js SDK，请查看Node.js SDK 安装及使用说明

SDK 支持的功能

平台提供了丰富的SDK能力，包括对话Chat、续写Completions、向量Embeddings、Prompt工程、模型服务、管理、调优及数据管理等能力，详情请查看SDK功能列表。

推理服务相关
- 对话Chat，支持创建chat，用于发起一次对话。
- 续写Completions，支持创建completion，用于发起一次续写请求，不支持多轮会话等。
- 向量Embeddings，支持Embeddings，用于根据输入内容生成对应的向量表示。
- 图像Images，提供图像相关API能力。
- 重排序Reranker：支持重排序Reranker，用于重新排序向量模型返回的top-k文档，优化语义搜索结果
- 自定义模型：平台支持HuggingFace Transformer架构的自定义大模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
- Token计算，根据输入计算token数。
- 批量预测：提供创建批量预测任务、获取批量预测任务详情等能力。
平台功能相关
- TPM配额管理：提供了购买TPM配额、查询配额信息等能力。
- 私有资源池服务付费：提供了购买算力单元实例、查询算力单元实例列表或信息等能力。
- 模型服务：提供创建服务、获取服务详情等API能力。
- 模型管理：提供获取模型、模型版本详情及将训练任务发布为模型等API能力。
- 模型调优：提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等API能力。
- 数据管理：提供创建数据集、导入导出数据集等API能力。
- Prompt工程：提供模板、Prompt评估、Prompt优化等相关API能力。
- 系统记忆：提供创建系统记忆、查询系统记忆等能力。
- 实例资源自动续费：提供创建实例资源自动续费规则API能力。

命令行CLI工具

平台提供了命令行CLI工具，方便在命令行中直接使用平台功能，如提供了对话Chat、续写Completions、图像Images、数据集dataSet、训练trainer等。更多介绍详见CLI工具介绍。

模块调用

Python SDK支持以下模块相关内容调用。

模型训练Trainer：调用Trainer相关API，支持对数据集进行自定义训练。
Prompt对象：提供了Prompt类型，可以更便捷地操作平台上的Prompt。

在线服务压测指南

Python SDK提供了基于locust工具的对大模型服务进行单轮、多轮快速压测以及性能评估功能。更多介绍请查看在线服务压测指南。

平台功能OpenAPI

SDK功能列表