自定义模型调用API

千帆ModelBuilder支持HuggingFace Transformer架构的自定义大模型导入。本文介绍了自定义导入模型发布为服务后，相关API调用规范。

输入输出模式

自定义导入模型包含2种输入输出模式，不同模式调用的API不同，开发者可以根据模型所支持的模式选择相应的API使用：

• 对话模式，创建chat，发起一次对话请求，支持多轮对话。
• 续写模式，创建completion，用于发起一次文本续写请求。

如何导入并部署第三方模型，请查看快速导入并部署第三方模型。

对话模式

通过SDK调用对话模式相关API，请查看对话模型调用文档。

续写模式

通过SDK调用续写模式相关API，请查看续写模式调用文档。