资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

工作流大模型节点高级配置使用案例

场景说明

当前工作流的大模型节点,已经为用户提供了常见的模型配置项内容,比如:模型名称、模型多样性配置、提示词等。但在特定场景下,为了更精准控制模型生成结果,需要能够指定不同模型的不同参数,比如控制EB4.0系列的实时搜索功能的参数,或设置最大输出tokens数等。当有以上场景时,可以在大模型节点配置模型接口的高级参数。

场景应用

支持在大模型节点中按照模型接口文档配置请求的body参数,以及接口返回的响应参数,接下来将通过2个实际案例配置说明该功能的使用方式。

案例一:强制关闭搜索

教育场景下,用户希望每个提问的query都能够先通过百度搜索或百度教育进行检索,然后由模型统一进行总结。在模型已经获取到检索结果的场景下,不应该再次触发模型自带的检索能力,所以需要能够设定强制关闭实时搜索的功能。

参考ModuleBuilder平台提供的模型接口文档,在大模型节点进行高级参数配置:

image.png

在实际请求时,可以保证每次请求都不会触发模型的实时检索功能。

案例二:开启搜索时返回检索内容

自由问答场景下,用户希望了解哪些query会触发搜索,并且希望如果触发了检索,能够返回原始的检索结果。可以通过在高级参数配置下设置对应的返回参数,即可在节点输出参数中获取到对应的检索结果。

接口返回参数的配置不影响节点原始的大模型生成内容的输出。

image.png

运行以上工作流,可以看到检索的返回内容。所有设置的额外返回参数都会在统一的completion_details的对象下。

image.png

模型接口文档地址

预置模型服务

自定义模型服务

上一篇
数字人应用:创建、调试和SDK集成
下一篇
计费说明