OpenAI接口兼容

千帆ModelBuilder提供了与OpenAI兼容的使用方式，用户只需调整api_key、base_url、model等参数，就可以通过OpenAI SDK调用千帆ModelBuilder推理服务。

base_url说明

base_url指模型服务的请求地址。通过该地址，可以请求服务提供的功能或数据。当使用OpenAI兼容接口调用千帆ModelBuilder模型服务时，需要配置base_url。

• 需要配置的base_url如下：https://qianfan.baidubce.com/v2

api_key说明

api_key值，可以通过调用创建BearerToken接口获取，详情请参考创建BearerToken。

api_key值示例如下：bce-v3/ALTAK-KZke********/f1d6ee*************。

default_headers说明

可以使用default_headers设置appid，appid值是V2版本对应的应用ID，可以根据需求选择是否设置。如何获取请参考名词解释-V2版本应用ID。

注意：如果无应用，需要先创建V2版本服务对应的应用。

支持的模型列表

目前推理服务V2版本兼容通过OpenAI方式调用，支持的模型列表请查看对话Chat V2-模型支持列表。

通过OpenAI SDK调用

前提条件

• 确保已安装最新版OpenAI SDK。
• 请选择需要使用的模型，模型列表请查看对话Chat V2-模型支持列表。

调用示例

用户可以通过OpenAI SDK调用千帆ModelBuilder推理服务V2版本接口。

from openai import OpenAI

client = OpenAI(
    api_key="bce-v3/ALTAK-KZke********/f1d6ee*************",  # 千帆ModelBuilder平台bearer token
    base_url="https://qianfan.baidubce.com/v2",  # 千帆ModelBuilder平台域名
    default_headers={"appid": "app-Mu***q6"}   # 千帆ModelBuilder平台应用ID，非必传
)

completion = client.chat.completions.create(
    model="ernie-4.0-turbo-8k", # 预置服务请查看支持的模型列表
    messages=[{'role': 'system', 'content': 'You are a helpful assistant.'},
              {'role': 'user', 'content': 'Hello！'}]
)

print(completion.choices[0].message)