SDK功能列表

千帆ModelBuilder提供了 Python、Go、Node.js 和 Java 等不同语言的 SDK，支持了丰富的 API 能力，便于开发者使用，提升开发效率。

SDK 支持的功能

SDK支持的能力如下，不同语言SDK，支持的功能可能不同。

模块	模块介绍	Python SDK	Go SDK	Java SDK	Node.js SDK
对话Chat	支持创建chat，用于发起一次对话。	✓	✓	✓	✓
续写Completions	支持创建completion，用于发起一次续写请求，不支持多轮会话等。	✓	✓	✓	✓
向量Embeddings	支持Embeddings，用于根据输入内容生成对应的向量表示。	✓	✓	✓	✓
重排序Reranker	用于重新排序向量模型返回的top-k文档，优化语义搜索结果。	✓	✕	✕	✕
图像Images	提供图像相关API能力。	✓	✓	✓	✓
Token计算	根据输入计算token数。	✓	✕	✕	✕
批量预测	提供创建预测任务、获取详情等能力。	✓	✓	✓	✓
TPM配额管理	提供了购买TPM配额、查询配额信息等能力。	✓	✓	✓	✓
私有资源池服务付费	提供了购买算力单元实例、查询算力单元实例列表或信息等能力。	✓	✓	✓	✓
模型服务	提供创建服务、获取服务详情等能力。	✓	✓	✓	✓
模型管理	提供获取模型、模型版本详情，获取用户/预置模型及将训练任务发布为模型等能力。	✓	✓	✓	✓
模型调优	提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等能力。	✓	✓	✓	✓
数据管理	提供创建数据集等数据集管理、导入导出数据集任务、数据清洗任务管理等能力。	✓	✓	✓	✓
Prompt工程	提供模板管理、Prompt优化任务、评估等相关能力。	✓	✓	✓	✓
系统记忆	提供创建系统记忆、查询系统记忆等能力。	✓	✓	✓	✓
实例资源自动续费	提供创建实例资源自动续费规则API能力。	✓	✓	✓	✓

推理服务API V2版本

• 为提升使用体验，平台新增支持V2版本模型服务API，完全兼容OpenAI标准（包含身份认证、接口协议）。
• 目前支持Python SDK、Go SDK调用V2版本接口，调用说明请查看SDK-对话Chat V2。

支持以下模型。

模型	介绍
ERNIE-4.0-8K	百度自研的旗舰级超大规模⼤语⾔模型，相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。 百度文心系列中效果最强大的⼤语⾔模型，理解、生成、逻辑、记忆能力达到业界顶尖水平。
ERNIE-4.0-8K-Preview	百度自研的旗舰级超大规模⼤语⾔模型，相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。
ERNIE-4.0-8K-Latest	ERNIE-4.0-8K-Latest相比ERNIE-4.0-8K能力全面提升，其中角色扮演能力和指令遵循能力提升较大；相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效，支持5K tokens输入+2K tokens输出。
ERNIE-4.0-Turbo-8K	ERNIE 4.0 Turbo是百度自研的旗舰级超大规模⼤语⾔模型，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀。ERNIE-4.0-Turbo-8K是模型的一个版本。
ERNIE-4.0-Turbo-8K-Preview	ERNIE 4.0 Turbo是百度自研的旗舰级超大规模⼤语⾔模型，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀。ERNIE-4.0-Turbo-8K-Preview是模型的一个版本。
ERNIE-4.0-Turbo-8K-Latest	ERNIE 4.0 Turbo是百度自研的旗舰级超大规模⼤语⾔模型，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀。ERNIE-4.0-Turbo-8K-Latest是模型的一个版本。
ERNIE-3.5-8K	百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。
ERNIE-3.5-8K-Preview	百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。此版本为ERNIE-3.5-8K模型的预览版本，指向最新版本模型。
ERNIE-3.5-128K	ERNIE 3.5是百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。ERNIE-3.5-128K是模型的一个版本，2024年5月16日发布，提升上下文窗口长度至128K。
ERNIE-Speed-Pro-128K	百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题，同时具备极佳的推理性能。2024年8月30日发布的初始版本，支持128K上下文长度，效果比ERNIE-Speed-128K更优。
ERNIE-Speed-8K	百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题，同时具备极佳的推理性能。2024年2月5日发布的初始版本，支持8K上下文长度。
ERNIE-Speed-128K	百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题，同时具备极佳的推理性能。2024年3月14日发布版本，提升上下文窗口长度至128K。
ERNIE-Character-8K	百度自研的垂直场景大语言模型，适合游戏NPC、客服对话、对话角色扮演等应用场景，人设风格更为鲜明、一致，指令遵循能力更强，推理性能更优。
ERNIE-Character-Fiction-8K	百度自研的垂直场景大语言模型，适合游戏NPC、客服对话、对话角色扮演等应用场景，人设风格更为鲜明、一致，指令遵循能力更强，推理性能更优。
ERNIE-Lite-8K	百度自研的轻量级大语言模型，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。
ERNIE-Lite-Pro-128K	百度自研的轻量级大语言模型，效果比ERNIE Lite更优，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。该版本优化模型效果，支持128K上下文长度，效果比ERNIE-Lite-128K更优。
ERNIE-Tiny-8K	百度自研的超高性能大语言模型，部署与精调成本在文心系列模型中最低。
ERNIE-Novel-8K	百度自研通用大语言模型，在小说续写能力上有明显优势，也可用在短剧、电影等场景。2024年8月2日首次发布的版本，百度自研通用大语言模型，在小说续写能力上有明显优势，也可用在短剧、电影等场景。

推理服务API V1相关

对话Chat

模型	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK
ERNIE-4.0-8K	百度自研的旗舰级超大规模⼤语⾔模型，相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。 百度文心系列中效果最强大的⼤语⾔模型，理解、生成、逻辑、记忆能力达到业界顶尖水平。	支持	支持	支持	支持
ERNIE-4.0-8K-Preview	百度自研的旗舰级超大规模⼤语⾔模型，相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。	支持	支持	支持	支持
ERNIE-4.0-8K-Latest	ERNIE-4.0-8K-Latest相比ERNIE-4.0-8K能力全面提升，其中角色扮演能力和指令遵循能力提升较大；相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效，支持5K tokens输入+2K tokens输出。	支持	支持	支持	支持
ERNIE-4.0-8K-0613	百度自研的旗舰级超大规模⼤语⾔模型，相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效，支持5K tokens输入+2K tokens输出。	支持	支持	支持	支持
ERNIE-4.0-Turbo-8K	ERNIE 4.0 Turbo是百度自研的旗舰级超大规模⼤语⾔模型，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀。ERNIE-4.0-Turbo-8K是模型的一个版本。	支持	支持	支持	支持
ERNIE-4.0-Turbo-8K-Preview	ERNIE 4.0 Turbo是百度自研的旗舰级超大规模⼤语⾔模型，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀。ERNIE-4.0-Turbo-8K-Preview是模型的一个版本。	支持	支持	支持	支持
ERNIE-4.0-Turbo-8K-Latest	ERNIE 4.0 Turbo是百度自研的旗舰级超大规模⼤语⾔模型，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀。ERNIE-4.0-Turbo-8K-Latest是模型的一个版本。	支持	支持	支持	支持
ERNIE-4.0-Turbo-8K-0628	ERNIE 4.0 Turbo是百度自研的旗舰级超大规模⼤语⾔模型，综合效果表现出色，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效。相较于ERNIE 4.0在性能表现上更优秀。ERNIE-4.0-Turbo-8K-0628是模型的一个版本。	支持	支持	支持	支持
ERNIE-3.5-8K	百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。	支持	支持	支持	支持
ERNIE-3.5-8K-Preview	百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。此版本为ERNIE-3.5-8K模型的预览版本，指向最新版本模型。	支持	支持	支持	支持
ERNIE-3.5-128K	ERNIE 3.5是百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。ERNIE-3.5-128K是模型的一个版本，2024年5月16日发布，提升上下文窗口长度至128K。	支持	支持	支持	支持
ERNIE-3.5-8K-0613	百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。2024年6月13日发布版本，该模型版本在信息处理、代码能力、知识问答、多轮会话等均有提升。	支持	支持	支持	支持
ERNIE-3.5-8K-0701	百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。2024年7月1日发布版本，能力全面升级，尤其数学计算、逻辑推理能力提升显著。	支持	支持	支持	支持
ERNIE-3.5-128K-Preview	百度自研的旗舰级大规模⼤语⾔模型，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用场景要求；支持自动对接百度搜索插件，保障问答信息时效。ERNIE-3.5-128K-Preview是此版本为ERNIE-3.5-128K模型的预览版本，指向最新版本模型。	支持	支持	支持	支持
ERNIE-Speed-Pro-128K	百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题，同时具备极佳的推理性能。2024年8月30日发布的初始版本，支持128K上下文长度，效果比ERNIE-Speed-128K更优。	支持	支持	支持	支持
ERNIE-Speed-8K	百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题，同时具备极佳的推理性能。2024年2月5日发布的初始版本，支持8K上下文长度。	支持	支持	支持	支持
ERNIE-Speed-128K	百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题，同时具备极佳的推理性能。2024年3月14日发布版本，提升上下文窗口长度至128K。	支持	支持	支持	支持
ERNIE-Character-8K	百度自研的垂直场景大语言模型，适合游戏NPC、客服对话、对话角色扮演等应用场景，人设风格更为鲜明、一致，指令遵循能力更强，推理性能更优。	支持	支持	支持	支持
ERNIE-Character-Fiction-8K	百度自研的垂直场景大语言模型，适合游戏NPC、客服对话、对话角色扮演等应用场景，人设风格更为鲜明、一致，指令遵循能力更强，推理性能更优。ERNIE-Character-Fiction-8K是2024年5月23日发布的版本，支持8K上下文长度，在情节演绎和规则化文本等场景下指令遵循能力更强。	支持	支持	支持	支持
ERNIE-Character-Fiction-8K-Preview	百度自研的垂直场景大语言模型，适合游戏NPC、客服对话、对话角色扮演等应用场景，人设风格更为鲜明、一致，指令遵循能力更强，推理性能更优。ERNIE-Character-Fiction-8K-Preview是2024年10月28日发布的版本，在深度扮演能力、剧情创意度等方面能力得到增强，场景更加丰富。	支持	支持	支持	支持
ERNIE-Lite-8K	百度自研的轻量级大语言模型，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。	支持	支持	支持	支持
ERNIE-Lite-8K-0725	百度自研的轻量级大语言模型，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。该模型版本是2023年7月25日发布版本，新增推理超参数，提升上下文窗口长度至8K	支持	支持	支持	支持
ERNIE-Lite-4K-0704	百度自研的轻量级大语言模型，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。该模型版本是2023年7月4日发布版本，优化推理效果，修复部分问题，支持4K上下文长度。	支持	支持	支持	支持
ERNIE-Lite-4K-0516	百度自研的轻量级大语言模型，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。该模型版本是2023年5月16日发布的初始版本，支持4K上下文长度。	支持	支持	支持	支持
ERNIE-Lite-128K-0419	百度自研的轻量级大语言模型，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。该模型版本是2024年4月19日发布版本，优化模型效果，支持128K上下文长度。	支持	支持	支持	支持
ERNIE-Lite-Pro-128K	百度自研的轻量级大语言模型，效果比ERNIE Lite更优，兼顾优异的模型效果与推理性能，适合低算力AI加速卡推理使用。该版本优化模型效果，支持128K上下文长度，效果比ERNIE-Lite-128K更优。	支持	支持	支持	支持
ERNIE-Functions-8K-0321	百度自研的垂直场景大语言模型，适合对话问答中的外部工具使用和业务函数调用场景，结构化回答合成能力更强、输出格式更稳定，推理性能更优。	支持	✕	✕	✕
ERNIE-Tiny-8K	百度自研的超高性能大语言模型，部署与精调成本在文心系列模型中最低。	支持	支持	支持	支持
ERNIE-Tiny-128K-0929	百度自研的超高性能大语言模型，部署与精调成本在文心系列模型中最低。ERNIE-Tiny-128k-0929是2024年9月29日发布的版本，支持128K上下文长度。	支持	支持	支持	支持
ERNIE-Novel-8K	百度自研通用大语言模型，在小说续写能力上有明显优势，也可用在短剧、电影等场景。2024年8月2日首次发布的版本，百度自研通用大语言模型，在小说续写能力上有明显优势，也可用在短剧、电影等场景。	支持	支持	支持	支持
Qianfan-Dynamic-8K	百度新推高性价比大模型服务，覆盖海量中英文语料，具有强大的通用能力，可满足绝大部分对话问答、创作生成、插件应用等场景要求；同时，对模型推理进行了优化，提供更好的推理性能。	支持	支持	支持	支持
Qianfan-Agent-Speed-8K	千帆自研Agent专用版模型，针对企业级大模型应用进行了专门的指令调优，在问答场景、智能体相关场景可以获得同等规模模型下更好的效果。2024年11月21日发布的版本，支持8K上下文长度。	支持	支持	支持	支持
Qianfan-Agent-Speed-32K	Qianfan Agent是百度自研Agent专用版模型，针对企业级大模型应用进行了专门的指令调优，在问答场景、智能体相关场景可以获得同等规模模型下更好的效果。2025年1月2号发布的版本，支持32K上下文长度。	支持	支持	支持	支持
Qianfan-Agent-Lite-8K	千帆自研Agent专用版模型，针对企业级大模型应用进行了专门的指令调优，在问答场景、智能体相关场景可以获得同等规模模型下更好的效果。2024年11月21日发布的版本，支持8K上下文长度。	支持	支持	支持	支持
Gemma-2B-it	Google 开发的一系列轻量级、尖端的开源文本生成模型，采用与 Gemini 模型相同的技术构建，适合用于各种文本生成任务，能够在资源量较小的端侧设备部署。该版本为20亿参数的指令微调版本。	支持	支持	支持	支持
Gemma-7B-it	Google 开发的一系列轻量级、尖端的开源文本生成模型，采用与 Gemini 模型相同的技术构建，适合用于各种文本生成任务，能够在资源量较小的端侧设备部署。该版本为70亿参数的指令微调版本。	支持	支持	支持	支持
Yi-34B-Chat	由零一万物开发并开源的双语大语言模型，使用4K序列长度进行训练，在推理期间可扩展到32K；模型在多项评测中全球领跑，取得了多项 SOTA 国际最佳性能指标表现，该版本为支持对话的chat版本。	支持	支持	支持	支持
BLOOMZ-7B	BLOOMZ-7B是业内知名的大语言模型，由BigScience研发并开源，能够以46种语言和13种编程语言输出文本。	支持	支持	支持	支持
Qianfan-BLOOMZ-7B-compressed	千帆ModelBuilder团队在BLOOMZ-7B基础上的压缩版本，融合量化、稀疏化等技术，显存占用降低30%以上。	支持	支持	支持	支持
Mixtral-8x7B-Instruct	由Mistral AI发布的首个高质量稀疏专家混合模型 (MOE)，模型由8个70亿参数专家模型组成，在多个基准测试中表现优于Llama-2-70B及GPT3.5，能够处理32K上下文，在代码生成任务中表现尤为优异。	支持	支持	支持	支持
Mistral-7B-Instruct	由Mistral AI研发并开源的7B参数大语言模型，具备强大的推理性能和效果，对硬件需求更少、在各项评测基准中超越同规模模型。该版本为Mistral-7B-v0.1基础上的微调版本。	支持	支持	支持	支持
Llama-2-7b-chat	Llama-2-7b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-7b-chat是高性能原生开源版本，适用于对话场景。	支持	支持	支持	支持
Llama-2-13b-chat	Llama-2-13b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-13b-chat是性能与效果均衡的原生开源版本，适用于对话场景。	支持	支持	支持	支持
Llama-2-70b-chat	Llama-2-70b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-70b-chat是高精度效果的原生开源版本。	支持	支持	支持	支持
Meta-Llama-3-8B-Instruct	Meta-Llama-3-8B是Meta AI于2024年4月18日发布的Meta Llama 3系列8B参数大语言模型，擅长语言细微差别、上下文理解、代码生成以及翻译和对话生成等复杂任务。Meta-Llama-3-8B-Instruct是8B参数的指令微调版本，适用于对话场景，在常见行业基准上优于许多可用的开源聊天模型。	支持	支持	支持	支持
Meta-Llama-3-70B-Instruct	Meta-Llama-3-70B是Meta AI于2024年4月18日发布的Meta Llama 3系列70B参数大语言模型，擅长语言细微差别、上下文理解、代码生成以及翻译和对话生成等复杂任务。Meta-Llama-3-70B-Instruct是70B参数的指令微调版本，适用于对话场景，在理解语言细节、上下文和执行复杂任务上表现更佳。	支持	支持	支持	支持
Qianfan-Chinese-Llama-2-7B	千帆ModelBuilder团队在Llama-2-7b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	支持	支持	支持	支持
Qianfan-Chinese-Llama-2-7B-32K	千帆ModelBuilder团队在Qianfan-Chinese-Llama-2-7B基础上的增强版本，支持32K上下文。	支持	支持	支持	支持
Qianfan-Chinese-Llama-2-13B-v2	千帆ModelBuilder团队基于Llama2架构开发的130亿参数预训练大语言模型，在1T+ tokens的高质量自有语料上从零开始训练，支持中英双语，上下文窗口长度为4K。推理效果整体优于同参数量级开源模型。	支持	支持	支持	支持
Qianfan-Chinese-Llama-2-13B-v1	千帆ModelBuilder团队在Llama-2-13b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	支持	支持	支持	支持
Qianfan-Chinese-Llama-2-70B	千帆ModelBuilder团队在Llama-2-70b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	支持	支持	支持	支持
Qianfan-Llama-2-70B-compressed	千帆ModelBuilder团队在Llama-2-70B基础上的压缩版本，融合量化、稀疏化、算子优化等压缩加速技术，大幅降低模型推理资源占用。	支持	支持	支持	支持
Linly-Chinese-LLaMA-2-7B	由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 7b参数版本。	支持	支持	支持	支持
Linly-Chinese-LLaMA-2-13B	由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 13b参数版本。	支持	支持	支持	支持
Qianfan-Chinese-Llama-2-1.3B	由千帆ModelBuilder团队基于Llama2架构开发的13亿参数预训练大语言模型，在1T+ tokens的高质量自有语料上从零开始训练，支持中英双语，上下文窗口长度为4K。推理效果整体优于同参数量级开源模型。	支持	支持	支持	支持
ChatGLM3-6B-32K	智谱AI与清华KEG实验室发布的中英双语对话模型，在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。	支持	支持	支持	支持
ChatGLM3-6B	智谱AI与清华KEG实验室发布的中英双语对话模型，相比前两代，具备更强大的基础模型，同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。	支持	支持	支持	支持
ChatGLM2-6B	智谱AI与清华KEG实验室发布的中英双语对话模型，具备强大的推理性能、效果、较低的部署门槛及更长的上下文，在MMLU、CEval等数据集上相比初代有大幅的性能提升。	支持	支持	支持	支持
ChatGLM2-6B-32K	在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。	支持	支持	支持	支持
ChatGLM2-6B-INT4	在ChatGLM2-6B的基础上进行INT4 量化，6G 显存支持的对话长度由 1K 提升到了 8K。	支持	支持	支持	支持
Baichuan2-7B-Chat	是百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在权威的中文和英文 benchmark 上均取得同尺寸领先的效果。该版本为70亿参数规模的Chat版本。	支持	支持	支持	支持
Baichuan2-13B-Chat	Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在权威的中文和英文 benchmark 上均取得同尺寸领先的效果。该版本为130亿参数规模的Chat版本。	支持	支持	支持	支持
XVERSE-13B-Chat	XVERSE-13B-Chat是由深圳元象科技自主研发的支持多语言的大语言模型，支持8k上下文、40多种语言，具备训练效率高、稳定性强、算力利用率高等特点。该版本为130亿参数规模的Chat版本。	支持	支持	支持	支持
XuanYuan-70B-Chat-4bit	由度小满开发，基于Llama2-70B模型进行中文增强的金融行业大模型，通用能力显著提升，在CMMLU/CEVAL等各项榜单中排名前列；金融域任务超越领先通用模型，支持金融知识问答、金融计算、金融分析等各项任务。	支持	支持	支持	支持
DISC-MedLLM	DISC-MedLLM是一个专门针对医疗健康对话式场景而设计的医疗领域大模型，由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源。	支持	支持	支持	支持
ChatLaw	由壹万卷公司与北大深研院研发的法律行业大模型，在开源版本基础上进行了进一步架构升级，融入了法律意图识别、法律关键词提取、CoT推理增强等模块，实现了效果提升，以满足法律问答、法条检索等应用需求。	支持	支持	支持	支持
Falcon-7B	由TII研发、在精选语料库增强的1500B tokens上进行训练。由OpenBuddy调优并开源，提升了处理复杂对话任务的能力与表现。	支持	支持	支持	支持
Falcon-40B-Instruct	由TII研发的仅使用解码器的模型，并在Baize的混合数据集上进行微调，具备优异的推理效果。	支持	支持	支持	支持
AquilaChat-7B	由智源研究院研发，基于Aquila-7B训练的对话模型，支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。	支持	支持	支持	支持
RWKV-4-World	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-World在100多种语言上进行训练，具备优秀的英语零样本与上下文学习能力。	支持	支持	支持	支持
RWKV-4-pile-14B	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-pile-14B为在 Pile 数据集上训练的 L40-D5120 因果语言模型。	支持	支持	支持	支持
RWKV-Raven-14B	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-Raven-14B为在Pile数据集上训练，并在Alpaca、CodeAlpaca等上进行微调的Chat版本。	支持	支持	支持	支持
OpenLLaMA-7B	在Meta AI研发的Llama模型基础上，OpenBuddy进行调优，涵盖了更广泛的词汇、通用字符与token嵌入，具备与Llama相当的性能与推理效果。	支持	支持	支持	支持
Dolly-12B	由Databricks训练的指令遵循大语言模型。基于pythia-12b，由InstructGPT论文的能力域中生成的约15k指令/响应微调记录训练。	支持	支持	支持	支持
MPT-7B-Instruct	MPT-7B-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在Databricks Dolly-15k、HH-RLHF数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。	支持	支持	支持	支持
MPT-30B-instruct	MPT-30M-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在更为丰富的数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。	支持	支持	支持	支持
OA-Pythia-12B-SFT-4	基于Pythia12B，Open-Assistant项目的第4次SFT迭代模型。该模型在https://open-assistant.io/收集的人类反馈的对话数据上进行微调。	支持	支持	支持	支持

续写Completions

模型	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK
Yi-34B	是由零一万物开发并开源的双语大语言模型，使用4K序列长度进行训练，在推理期间可扩展到32K；模型在多项评测中全球领跑，取得了多项 SOTA 国际最佳性能指标表现。	支持	支持	支持	支持
SQLCoder-7B	由Defog研发、基于Mistral-7B微调的语言模型，用于将自然语言问题转换为SQL语句，具备优秀的生成效果。	支持	支持	支持	支持
CodeLlama-7b-Instruct	Code Llama是由Meta AI研发并开源的一系列文本生成模型，旨在用于一般代码合成和理解。该模型参数规模为70亿。	支持	支持	支持	支持
AquilaCode-multi	由智源研究院研发，基于Aquila-7B训练的代码生成模型，使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的10～40%。	支持	支持	支持	支持
Cerebras-GPT-13B	由Cerebras研发并开源，使用 Chinchilla 公式进行训练的13B参数GPT模型，可为给定的计算预算提供最高的准确性，具备更低的训练成本与功耗。	支持	支持	支持	支持
Pythia-12B	由EleutherAI研发并开源，在Pile数据集上训练的12B参数transformer语言模型。	支持	支持	支持	支持
GPT-J-6B	EleutherAI开发的6B参数transformer模型，基于Mesh Transformer JAX训练。	支持	支持	支持	支持
GPT-NeoX-20B	由EleutherAI开发，使用GPT-NeoX库，基于Pile训练的200亿参数自回归语言模型，模型结构与GPT-3、GPT-J-6B类似。	支持	支持	支持	支持
GPT4All-J	由Nomic AI研发、基于GPT-J在包括文字问题、多轮对话、代码、诗歌、歌曲和故事在内的大量语料上进行精调训练生成的模型。	支持	支持	支持	支持
StarCoder	由BigCode研发的15.5B参数模型，基于The Stack (v1.2)的80+编程语言训练，训练语料来自Github。	支持	支持	支持	支持
StableLM-Alpha-7B	Stability AI开发的7B参数的NeoX transformer架构语言模型，支持4k上下文。	支持	支持	支持	支持

向量Embeddings

模型	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK
Embedding-V1	Embedding-V1是基于百度文心大模型技术的文本表示模型，将文本转化为用数值表示的向量形式，用于文本检索、信息推荐、知识挖掘等场景。	支持	支持	支持	支持
bge-large-zh	由智源研究院研发的中文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。	支持	支持	支持	支持
bge-large-en	由智源研究院研发的英文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。	支持	支持	支持	支持
tao-8k	由Huggingface开发者amu研发并开源的长文本向量表示模型，支持8k上下文长度，模型效果在C-MTEB上居前列，是当前最优的中文长文本embeddings模型之一。	支持	支持	支持	支持

重排序Reranker

通过千帆SDK 调用重排序Reranker相关API。

模型	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK
bce-reranker-base_v1	由网易有道开发的跨语种语义表征算法模型，擅长优化语义搜索结果和语义相关顺序精排，支持中英日韩四门语言，覆盖常见业务领域，支持长package rerank(512~32k)。	支持	✕	✕	✕

图像Images

通过千帆SDK 调用图像Images相关API。

模型	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK
Stable-Diffusion-XL	业内知名的跨模态大模型，由StabilityAI研发并开源，有着业内领先的图像生成能力。	支持	支持	支持	支持
Fuyu-8B	由Adept AI训练的多模态图像理解模型，可以支持多样的图像分辨率，回答图形图表有关问题。模型在视觉问答和图像描述等任务上表现良好。	支持	✕	支持	支持
文心一格（精调后）	百度自主研发的跨模态图像生成大模型，创新知识增强的混合专家建模，是全球首个知识增强的AI作画大模型，在语义控制、图像细节、中文理解等方面优势显著，已作为基础模型应用在 文心一格 等相关业务上。	支持	支持	支持	支持

Token计算

功能	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK
计算ERNIE系列Token长度	根据输入prompt计算token数。	支持	✕	✕	✕

平台功能OpenAPI相关

批量预测

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建批量预测任务	用于创建批量预测任务。	支持	支持	支持	支持	API文档
获取批量预测任务详情	用于获取批量预测任务详情，如任务名称、任务描述、任务运行状态等。	支持	支持	支持	支持	API文档
获取批量预测任务列表	用于获取批量预测任务列表。	支持	支持	支持	支持	API文档
停止批量预测任务	用于停止批量预测任务。	支持	支持	支持	支持	API文档
删除批量推理任务	用于根据任务ID，删除批量预测任务。	支持	支持	支持	支持	API文档
查询支持批量推理模型清单	用于查询支持批量推理模型清单。	支持	支持	支持	支持	API文档

TPM配额管理

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
购买TPM&RPM配额	购买TPM&RPM配额。	支持	支持	支持	支持	API文档
查询TPM&RPM配额信息详情	查询预置服务TPM&RPM配额信息。	支持	支持	支持	支持	API文档
终止按小时后付费TPM&RPM配额	用于终止按小时后付费TPM&RPM配额。	支持	支持	支持	支持	API文档
TPM配额实例变配	用于创建TPM配额实例的变配订单。	支持	支持	支持	支持	API文档
修改TMP后付费自动释放时间	用于修改后付费TMP配额自动释放时间。	支持	支持	支持	支持	API文档

私有资源池服务付费

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
购买算力单元实例	用于购买当前服务部署所需的算力单元实例。	支持	支持	支持	支持	API文档
查询算力单元实例列表	用于查询当前服务已使用的全部或特定算力单元实例列表。	支持	支持	支持	支持	API文档
查询算力单元实例信息	用于查询当前服务已使用的全部或特定算力单元实例信息。	支持	支持	支持	支持	API文档
终止算力单元后付费实例	用于终止算力单元后付费实例。	支持	支持	支持	支持	API文档
修改算力单元后付费自动释放时间	用于修改算力单元示例后付费自动释放时间。	支持	支持	支持	支持	API文档
购买算力单元	用于购买算力单元。	支持	支持	支持	支持	API文档
查询算力单元列表	用于筛选算力单元列表信息。	支持	支持	支持	支持	API文档
查询算力单元详情	用于查询指定算力单元详细信息。	支持	支持	支持	支持	API文档
算力单元变配	用于变更算力单元配置。	支持	支持	支持	支持	API文档
释放后付费算力单元	用于释放算力单元。	支持	支持	支持	支持	API文档
定时释放后付费算力单元	用于设置算力单元后付费定时释放时间。	支持	支持	支持	支持	API文档

模型服务

模型服务开放以下能力，SDK及文档等支持情况如下。

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建定制服务	用于创建服务。	支持	支持	支持	支持	API文档
更新定制服务	用于更新服务基础模型版本。	支持	支持	支持	支持	API文档
获取定制服务列表	用于获取服务列表。	支持	支持	支持	支持	API文档
获取定制服务详情	用于获取服务详情，如服务ID、模型ID、模型版本ID、服务名称、类型等。	支持	支持	支持	支持	API文档
查询服务调用情况	用于查询服务调用情况。	支持	支持	支持	支持	API文档
获取预置服务列表	用于获取预置服务列表。	支持	支持	支持	支持	API文档
服务绑定bls日志集	用于预置服务和定制服务绑定bls日志集。	支持	支持	支持	支持	API文档
服务解绑bls日志集	用于预置服务和定制服务解绑bls日志集。	支持	支持	支持	支持	API文档
下线定制服务	用于下线定制服务。	支持	支持	支持	支持	API文档
扩缩容定制服务	调整服务当前使用算力单元实例的部署副本数或为服务添加一个新的算力单元实例。	支持	支持	支持	支持	API文档

模型管理

模型管理开放以下能力，SDK及文档等支持情况如下。

注意：推荐使用以下模型管理接口，功能更全面、且接口更规范。历史V1版本接口文档已下线，为避免影响使用，建议接入以下新版接口。

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
新建我的模型	用于新建我的模型。	支持	支持	支持	支持	API文档
获取预置模型列表	用于获取预置模型列表。	支持	支持	支持	支持	API文档
获取我的模型列表	用于获取我的模型列表。	支持	支持	支持	支持	API文档
获取模型详情	用于获取模型详情。	支持	支持	支持	支持	API文档
删除我的模型	用于根据模型ID删除我的模型。	支持	支持	支持	支持	API文档
新建我的模型版本	用于新建我的模型版本。	支持	支持	支持	支持	API文档
上传自定义对话模板文件	用于在新建导入的huggingface对话模型版本时，上传自定义的对话模板配置文件。	支持	✕	✕	支持	API文档
获取导入模型平台预置高级配置	用于新建我的模型版本时，获取导入模型平台预置高级配置。	支持	支持	支持	支持	API文档
获取模型版本详情	用于获取模型版本详情，如模型版本名称、描述、创建时间、输入输出模式、输入输出模式限制等。	支持	支持	支持	支持	API文档
获取模型版本的高级配置	用于获取模型版本的自定义高级配置。	支持	支持	支持	支持	API文档
删除我的模型版本	用于删除我的模型版本。	支持	支持	支持	支持	API文档
创建模型版本导出任务	用于创建模型版本导出任务。	支持	支持	支持	支持	API文档
获取模型版本打包导出任务	用于获取模型版本打包导出任务，不包含失败任务。	支持	支持	支持	支持	API文档
获取预置模型详情	用于获取预置模型详情。	支持	支持	支持	支持	API文档
获取预置模型版本详情	用于获取预置模型版本详情。	支持	支持	支持	支持	API文档

模型调优

注意：推荐使用V2版本接口，V2版本API能力更全面、且接口更规范。V1版本接口功能不再升级，如果之前已接入使用，可继续使用。

• 模型精调

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建模型精调作业	用于创建模型精调作业。	支持	支持	支持	支持	API文档
创建模型精调任务	用于创建模型精调任务。	支持	支持	支持	支持	API文档
停止模型精调任务	用于停止模型精调任务。	支持	支持	支持	支持	API文档
获取模型精调作业列表	用于获取模型精调作业列表。	支持	支持	支持	支持	API文档
获取模型精调任务列表	用于获取模型精调任务列表。	支持	支持	支持	支持	API文档
获取模型精调任务详情	用于获取模型精调任务详情。	支持	支持	支持	支持	API文档
删除模型精调作业	用于删除模型精调作业。	支持	支持	支持	支持	API文档
删除模型精调任务	用于删除模型精调任务。	支持	支持	支持	支持	API文档

• 模型评估V2

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建模型评估任务	用于创建模型评估任务。	支持	支持	支持	支持	API文档
查看模型评估任务详情	用于根据评估任务id，查看模型评估任务详情。	支持	支持	支持	支持	API文档
查看模型评估任务报告	用于根据评估任务id，查看模型评估任务报告。	支持	支持	支持	支持	API文档
删除模型评估任务	用于根据评估任务id，删除模型评估任务。	支持	支持	支持	支持	API文档
查看模型评估任务列表	用于查看可评估模型列表。	支持	支持	支持	支持	API文档
更新模型评估任务	用于更新模型评估任务信息。	支持	支持	支持	支持	API文档
查看模型评估结果导出任务状态	用于获取模型评估导出任务状态信息。	支持	支持	支持	支持	API文档
发起模型评估结果导出任务	用于创建模型评估结果导出任务。	支持	支持	支持	支持	API文档
停止模型评估任务	用于停止模型评估任务。	支持	支持	支持	支持	API文档

• 模型评估V1

推荐使用模型评估V2版本接口，功能更全面、且接口更规范。

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建模型评估任务	用于创建并启动模型评估任务。	支持	支持	支持	支持	API文档
查看模型评估详情	用于获得模型评估任务详情。	支持	支持	支持	支持	API文档
查看模型评估报告	用于获取评估报告（整体指标）。	支持	支持	支持	支持	API文档
停止模型评估任务	用于停止模型评估任务，目前只支持纯自动评估任务的停止，当评估包含人工评估模式的时候，不允许停止。	支持	支持	支持	支持	API文档
查看可评估模型列表	用于查看可评估模型列表。	支持	支持	支持	支持	API文档
查看模型评估结果列表	用于查看模型评估结果列表。	支持	支持	支持	支持	API文档
批量删除模型评估	用于删除模型评估任务。	支持	支持	支持	支持	API文档
发起模型评估结果导出任务	用于发起评估结果导出任务。	支持	支持	支持	支持	API文档
查看模型评估结果导出任务状态	用于查看模型评估结果导出任务状态。	支持	支持	支持	支持	API文档

• 模型压缩

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建模型压缩任务	用于创建模型压缩任务。	支持	支持	支持	支持	API文档
查看模型压缩任务列表	用于查看模型压缩任务列表。	支持	支持	支持	支持	API文档
获取模型压缩任务详情	用于获取模型压缩任务详情。	支持	支持	支持	支持	API文档
停止模型压缩任务	用于停止模型压缩任务。	支持	支持	支持	支持	API文档
删除模型压缩任务	用于删除模型压缩任务。	支持	支持	支持	支持	API文档

数据管理

数据管理开放以下能力，SDK及文档等支持情况如下。

• 数据集管理

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建数据集	用于创建新的数据集。	支持	支持	支持	支持	API文档
获取数据集列表	用于获取符合特定查询条件的数据集列表。	支持	支持	支持	支持	API文档
删除数据集	根据数据集ID，删除数据集。	支持	支持	支持	支持	API文档
新增数据集版本	用于为数据集新增版本。	支持	支持	支持	支持	API文档
获取数据集版本详情	用于获取特定数据集版本的详情信息，如数据集名称、数据类型、版本信息等。	支持	支持	支持	支持	API文档
删除数据集版本	根据数据集版本ID，删除数据集特定版本。	支持	支持	支持	支持	API文档
发布数据集版本	用于发布数据集版本。	支持	支持	支持	支持	API文档
获取数据集版本列表	用于查询某数据集的版本列表。	支持	支持	支持	支持	API文档
获取数据集版本导入详情	用于获取数据集版本的导入任务详情。	支持	支持	支持	支持	API文档
发起数据集版本导入任务	用于对特定数据集版本发起数据导入任务。	支持	支持	支持	支持	API文档
获取数据集版本导出详情	用于获取数据集版本的导出任务详情。	支持	支持	支持	支持	API文档
发起数据集版本导出任务	用于对特定数据集版本发起数据导出任务。	支持	支持	支持	支持	API文档

• 数据清洗

API名称	说明	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建数据清洗任务	用于创建数据清洗任务。	支持	支持	支持	支持	API文档
查看数据清洗任务详情	用于查看数据清洗任务详情。	支持	支持	支持	支持	API文档
查看清洗任务列表	用于查看清洗任务列表。	支持	支持	支持	支持	API文档
删除数据清洗任务	用于删除数据清洗任务。	支持	支持	支持	支持	API文档

• 数据增强

API名称	说明	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建数据增强任务	用于创建数据增强任务。	支持	支持	支持	支持	API文档
查看数据增强详情	用于查看数据增强任务详情。	支持	支持	支持	支持	API文档
查看增强任务列表	用于查看增强任务列表。	支持	支持	支持	支持	API文档
删除数据增强任务	用于删除数据增强任务。	支持	支持	支持	支持	API文档

• 数据标注

API名称	说明	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
样本标注	用于进行样本标注	支持	支持	支持	支持	API文档
获取样本列表	用于获取样本列表。	支持	支持	支持	支持	API文档

Prompt工程

Prompt工程指针对于Prompt进行结构、内容等维度进行优化的AI技术，它把大模型的输入限定在了一个特定的范围之中，进而更好地控制模型的输出。

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
获取Prompt模板列表	用于获取Prompt模板列表。	支持	支持	支持	支持	API文档
创建Prompt模板	用于创建Prompt模板。	支持	支持	支持	支持	API文档
获取单个Prompt模板详情	用于获取单个Prompt模板详情。	支持	支持	支持	支持	API文档
更新Prompt模板	用于更新Prompt模板。	支持	支持	支持	支持	API文档
删除Prompt模板	用于根据Prompt模版ID删除Prompt模板。	支持	支持	支持	支持	API文档
删除Prompt模板标签	用于根据标签ID，删除Prompt模板标签。	支持	支持	支持	支持	API文档
创建Prompt模板标签	用于新建Prompt模板标签。	支持	支持	支持	支持	API文档
获取Prompt模板标签列表	用于获取标签列表信息，如标签ID、标签名称、标签类型等。	支持	支持	支持	支持	API文档

系统记忆

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建系统记忆	用于创建系统记忆。	支持	支持	支持	支持	API文档
查询系统记忆列表	用于查询系统记忆列表。	支持	支持	支持	支持	API文档
删除系统记忆	用于删除系统记忆，同时删除对应的系统记忆内容。	支持	支持	支持	支持	API文档
查询一言系统记忆	用于查询一言系统记忆。	支持	支持	支持	支持	API文档
更新一言系统记忆	用于更新一言系统记忆。	支持	支持	支持	支持	API文档

实例资源自动续费

API名称	介绍	Python SDK	Go SDK	Java SDK	Node.js SDK	HTTP 调用
创建实例资源自动续费规则	用于创建实例资源自动续费规则。	支持	支持	支持	支持	API文档

历史版本

为提升开发者使用体验，平台升级了多个产品模块接口，功能更全面、且接口更规范。

针对历史版本接口，API文档迁移到历史文档，由于历史版本接口后续可能下线停止服务，为避免影响使用，建议接入新版本接口。历史版本接口文档，请查看平台功能OpenAPI-历史文档。