资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

文心一格(精调后)

百度自主研发的跨模态图像生成大模型,创新知识增强的混合专家建模,是全球首个知识增强的AI作画大模型,在语义控制、图像细节、中文理解等方面优势显著,已作为基础模型应用在 文心一格 等相关业务上。本文介绍了经过SFT模型训练后发布的服务,调用相关API说明。

功能介绍

调用本接口,根据用户输入的文本生成图片。

注意事项

SDK调用

调用示例

对于用户自行发布的模型服务,如文心一格(精调后),通过使用endpoint进行调用,示例如下。

import os
import qianfan
from PIL import Image
import io

# 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

t2i = qianfan.Text2Image()
resp = t2i.do(prompt="A Ragdoll cat with a bowtie.", with_decode="base64",endpoint="your_custom_endpoint")
img_data = resp["body"]["data"][0]["image"]

img = Image.open(io.BytesIO(img_data))
img.show(img)
import com.baidubce.qianfan.Qianfan;
import com.baidubce.qianfan.model.image.Text2ImageResponse;

public class Main {
    public static void main(String[] args) {
        // 使用安全认证AK/SK鉴权,替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
        Qianfan qianfan = new Qianfan("your_iam_ak", "your_iam_sk");
        
        // 调用文生图模型
        Text2ImageResponse response = qianfan.text2Image().endpoint("your_custom_endpoint")
        .prompt("A Ragdoll cat with a bowtie")
        .execute();
        
        // 返回信息,返回图片base64编码信息等
        System.out.println("created: "+response.getCreated());
        System.out.println("id: "+response.getId());
        System.out.println("prompttokens: "+response.getUsage().getPromptTokens());
        System.out.println("totaltokens: "+response.getUsage().getTotalTokens());
        System.out.println("b64image: "+response.getData().getFirst().getB64Image());
        System.out.println("image: "+                          Arrays.toString(response.getData().getFirst().getImage()));
        System.out.println("index: "+response.getData().getFirst().getIndex());
        System.out.println("object: "+response.getObject());
       
}
package main

import (
	"context"
	"encoding/base64"
	"fmt"
	"os"

	"github.com/baidubce/bce-qianfan-sdk/go/qianfan"
)

func main() {
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
	os.Setenv("QIANFAN_ACCESS_KEY", "your_iam_ak")
	os.Setenv("QIANFAN_SECRET_KEY", "your_iam_sk")

	text2img := qianfan.NewText2Image(
		qianfan.WithEndpoint("your_custom_endpoint"),
	)

	resp, err := text2img.Do(context.TODO(), &qianfan.Text2ImageRequest{
		Prompt: "A Ragdoll cat with a bowtie.",
	})
	if err != nil {
		panic(err)
	}

	img := resp.Data[0].Base64Image
	imgData, err := base64.StdEncoding.DecodeString(img)
	if err != nil {
		panic(err)
	}

	outputFile := "output.jpg"
	f, err := os.Create(outputFile)
	if err != nil {
		panic(err)
	}
	defer func() {
		if err := f.Close(); err != nil {
			panic(err)
		}
	}()

	_, err = f.Write(imgData)
	if err != nil {
		panic(err)
	}
	fmt.Printf("Image saved to %s\n", outputFile)
}
\`; res.end(html); }); const port = 3002; server.listen(port, () => { console.log(\`服务器运行在 http://localhost:\${port}\`); }); } main();`, `58783176786116950000`)" >
import * as http from 'http';
import {Text2Image, setEnvVariable} from "@baiducloud/qianfan";
// 使用安全认证AK/SK鉴权,通过环境变量初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_sk
setEnvVariable('QIANFAN_ACCESS_KEY','your_iam_ak');
setEnvVariable('QIANFAN_SECRET_KEY','your_iam_sk');

const client = new Text2Image({Endpoint: 'your_custom_endpoint'});

async function main() {
    const resp = await client.text2Image({
        prompt: 'A Ragdoll cat with a bowtie.',
     });

    const base64Image = resp.data[0].b64_image;
    // 创建一个简单的服务器
    const server = http.createServer((req, res) => {
        res.writeHead(200, {'Content-Type': 'text/html'});
        let html = `<html><body><img src="data:image/jpeg;base64,${base64Image}" /><br/></body></html>`;
        res.end(html);
    });

    const port = 3002;
    server.listen(port, () => {
        console.log(`服务器运行在 http://localhost:${port}`);
    });
}

main();

返回示例

QfResponse(code=200,
           headers={...},
           body={'created': 1111,
                 'data': [{'b64_image': 'xxxxx',
                           'image': 'xx',
                           'index': 1,
                           'object': 'image'}],
                 'id': 'as-xxx',
                 'object': 'image',
                 'usage': {'prompt_tokens': 28, 'total_tokens': 28}})
# 返回JSON格式部分字段如下:
{
  "data": [
    {
      "object": "image",
      "b64Image": "/9j/xxxxxx",
      "index": 1
    }
  ],
  "usage": {
    "promptTokens": 27,
    "totalTokens": 27
  },
  "id": "as-p11zrni3y6",
  "object": "image",
  "created": 1717400385,
  "headers": {
    ...
  }
}
{
    Id: as-zru0xxxq 
    Object: image 
    Created: 1715928380 
    Usage:{
        PromptTokens: 28 
        CompletionTokens: 0 
        TotalTokens: 28
    } 
    Data:[
        {
            Object:image 
            Base64Image:/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgICAgUEBAMEBgUGBgYFBgYGBwkIBgcJBwYGCAsICQoKCgoKBggLDAsKDAkKCgr/ 
            Index:1
        }
    ]   
}
{
  id: 'as-6i718v0pun',
  object: 'image',
  created: 1709801635,
  data: [
    {
      object: 'image',
      b64_image: '/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIxxxxx',
      index: 1
    }
  ],
  usage: { prompt_tokens: 9, total_tokens: 9 }
}

请求参数

注意:以下为Python SDK参数说明,其他SDK参数相关说明请参考Go SDK-图像Images参数相关说明Java SDK参数相关说明Node.js SDK参数相关说明

名称 类型 必填 描述
prompt string 提示词,即用户希望图片包含的元素。说明:该字段建议使用中文,效果更佳,长度限制为256字符
with_decode string 是否自动decode,如果不指定将返回原始的based64 encoded二进制数据,可选值:base64
negative_prompt string 反向提示词,即用户希望图片不包含的元素,长度限制为256字符
size string 生成图片长宽,取值范围如下:["1024x1024", "2048x2048", "1280x720", "720x1280", "2560x1440", "1440x2560", "1152x768", "2304x1536", "1024x768", "2048x1536"]
n int 生成图片数量,说明:
(1)默认值为1
(2)取值范围为1-2
(3)单次生成的图片较多及请求较频繁可能导致请求超时
steps int 迭代轮次,说明:
(1)默认值为20
(2)取值范围为10-50
sampler_index string 采样方式,说明:
(1)默认值ddim
(2)可选值如下:
· pndm
· euler_ancestral
· dpm-solver
· ddim
endpoint string 用于指定用户自行发布的模型服务,说明:该字段值可以通过查看服务地址获取,详情请查看新手指南-平台使用快速开始
在创建服务页面,选择模型后,API地址会自动新增个后缀。例如选择模型后,输入API地址为“test1”,endpoint的取值即为“ngxxxol8_test1”,如下图所示,image.png
retry_count int 重试次数,默认1次
request_timeout float 请求超时时间,默认60秒
backoff_factor float 请求重试参数,用于指定重试的策略,默认为0
seed integer 随机种子,说明:
· 不设置时,自动生成随机数
· 取值范围 [0, 4294967295]
cfg_scale float 提示词相关性,说明:默认值为5,取值范围0-30
style string 生成风格,说明:
(1)可选值:
· Base:基础风格
· 3D Model:3D模型
· Analog Film:模拟胶片
· Anime:动漫
· Cinematic:电影
· Comic Book:漫画
· Craft Clay:工艺黏土
· Digital Art:数字艺术
· Enhance:增强
· Fantasy Art:幻想艺术
· Isometric:等距风格
· Line Art:线条艺术
· Lowpoly:低多边形
· Neonpunk:霓虹朋克
· Origami:折纸
· Photographic:摄影
· Pixel Art:像素艺术
· Texture:纹理
(2)默认Base
user_id string 表示最终用户的唯一标识符

响应参数

名称 类型 描述
id string 请求的id
object string 回包类型。image:图像生成返回
created int 时间戳
data list(image_data) 生成图片结果
usage usage token统计信息,token数 = 汉字数+单词数*1.3 (仅为估算逻辑)

image_data说明

名称 类型 描述
object string 固定值"image"
b64_image string 图片base64编码内容
image string 图片解码后数据,可以直接使用,仅传入with_decode="base64"时候会返回
index int 序号

usage说明

名称 类型 描述
prompt_tokens int 问题tokens数,包含提示词和负向提示词
total_tokens int tokens总数
上一篇
对话Chat(精调后)
下一篇
Token计算