资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

创建自己的模型

创建自己的模型

要创建模型,您首先需要成为 AI Studio 的注册用户。这之后您可以通过模型库首页的“创建模型”按钮:

图2.png

或通过【个人中心-模型-创建的模型】中的“创建模型“按钮进入模型创建流程:

 图3.png

进入模型创建流程后主要分为三个步骤:

1)填写基础信息。

基础信息包括您的模型名称、repo 名称、所有者、许可证类型、是否公开和模型描述。

  • repo 名称作为您模型的唯一标识,在您个人模型空间范围内需唯一且仅支持英文字母、下划线、中划线和数字
  • 许可证类型决定您的模型遵循对应的开源协议。
  • 是否公开决定您的模型是否能被其他用户检索查看,若设置为非公开模型,则其他用户无法查看,仅您自己查看。您也可以创建后在设置页面进行权限的修改配置。
  • 模型描述建议介绍您的模型的特性和应用场景,将展现在模型列表页方便用户搜索查询。

图4.png

2)编辑模型卡片信息。

模型卡片信息具体包括模型 README、模型标签信息。

  • 第一步:编辑 README.md 文档。

    若您已有 README 文档,可直接拖拽上传。若您没有 README 文档,系统将为您自动创建一个 README 文档,您可在模型介绍中看到模板内容,并点击编辑进行在线编辑。 为了让模型介绍更容易被理解和检索,我们推荐您按照模板进行书写。

 图5.png

​ 系统将根据您上传的 README.md 文件进行解析,并展示在模型介绍页面:

图6.png

  • 第二步:编辑模型标签信息。进入编辑后通过完善相关选项即可生成模型标签,后续标签将作为用户快速筛选模型依据,建议根据实际情况仔细填写:

图7.png

上传模型文件

目前平台支持通过以下四种方式添加文件:

1. 方式一:Web 页面上传相关文件

图8.png

说明:目前平台仅支持大小不超过3M的文件,文件上传成功后即可在页面看见文件并预览文件内容。平台支持对一下文档类型进行在线预览查看: .md、.txt、.json、.py、.yaml、.yml、.gitattributes、.gitignore、.html、.bmp、.jpg、.jpeg、.png、Dockerfile、.sh。

2. 方式二:Web 页面创建相关文件

图9.png

选择“新建文件”后即可进入文件在线编辑页面,您可以通过在文件名称处输入文件路径创建文件夹及对应文件,并支持md 文件预览:

图10.png

3. 方式三:使用 Git 命令上传文件

  • 第一步,登录 AI Studio平台,在个人中心->访问令牌,拷贝Access Token

个人访问令牌管理

  • 第二步,通过 git 命令上传相关文件,常见命令说明详见如下:

`

# 假设模型Owner的UserID是123,模型名称为hello-world
# 公开模型下载:
git clone http://git.aistudio.baidu.com/123/hello-world.git

# 私有模型下载,需要有模型权限
# 基于Access Token(可在个人中心-访问令牌获取,参考第一步)
git clone http://${GitToken}@git.aistudio.baidu.com/123/hello-world.git
# 修改模型文件,并上传到仓库
cd hello-world/
# 修改文件
git add <已修改的文件>
git commit -m "修改描述"
git push`

推荐上传模型文件包括:

  • .pdparams——训练参数文件
  • .pdipaprams——导出后参数文件
  • .pdmodel——导出后模型结构文件
  • .safetensors、.bin、.ckpt——模型参数文件

4. 方式四:使用 Python SDK命令上传文件

aistudio_hub SDK库可帮助您在不离开开发环境的情况下与Hub进行交互。您可以轻松创建和管理您的个人仓库,下载和上传文件,并从Hub获得有用的模型和相关元数据。

  • 第一步:首先请先安装aistudio-sdk库:
pip install --upgrade aistudio-sdk
  • 第二步:完成仓库创建与文件操作
4.1 快速使用
1. 创建仓库 create repo

使用create_repo()创建一个空仓库,并使用repo_id参数为其命名,此参数由仓库所有者的 UID 和模型英文名组成(userid/model_name_en),可在模型详情页查看并复制.

repo_id 查看复制示意

from aistudio_sdk.hub import create_repo
os.environ["AISTUDIO_ACCESS_TOKEN"] = ""

res = create_repo(
    repo_id='myrepoid',
    model_name='mymodelname',
    desc='mydesc',
    private=False,
    license='Apache License 2.0'
)
print(res)
2. 文件下载 download
from aistudio_sdk.hub import download
os.environ["AISTUDIO_ACCESS_TOKEN"] = ""

res = download(
    repo_id='myname/myrepoid',
    filename='mydir/my file.txt',
    revision='mybranch'
)
print(res)
3. 文件上传 upload
from aistudio_sdk.hub import upload
os.environ["AISTUDIO_ACCESS_TOKEN"] = ""

res = upload(
    repo_id='myname/myrepoid',
    path_or_fileobj='mydir/my file.txt',
    path_in_repo='dir1/dir2/my cloud file.txt'
)
print(res)
4. 检查文件是否存在上传 file_exists
from aistudio_sdk.hub import file_exists
os.environ["AISTUDIO_ACCESS_TOKEN"] = ""

res = file_exists(
    'myname/myrepoid',
    'mydir/my file.txt',
    revision='mybranch'
)
print(res)

更多API 功能即将上线,敬请期待。

注意事项
  1. 特别注意不要混用 ~波浪线 与 /Users/${your_username} 。已测得在特殊情况下,会报错本地文件已存在,导致进程不成功,不同版本的python,表现情况也不同。尽可能使用绝对路径。
  2. 上传普通文件大小限5M。上传大文件(LFS)限5G。
附录

常用参数说明如下:

参数名称 参数说明 数据类型
token Git token 访问令牌。 string
repo_id 仓库名称 string
model_name 模型名称,默认值为仓库名称 string
desc 仓库描述 string
private 公开或者私密:True 私密,False 公开 bool
license license string
filename 下载目标文件名路径,例如path/file1.txt string
path_or_fileobj 待传的本地文件名路径,如/Users/myname/Downloads/README.md string
path_in_repo 上传到仓库里的路径,例如mydir/README.md string
revision 分支 string

模型版本设置

为了确保平台开发环境和模型版本兼容性,模型必须有版本才能使用,我们通过git tag来作为模型的版本,对模型打 tag 命令详细说明如下:

git tag v1.0.0 -m "version comments"
git push origin v1.0.0
# 您可以自行定义版本名称,如 v1.0.0

此外也可通过点击“编辑模型”进入模型编辑页面,在“模型空间”tab 下可添加模型版本:

模型版本设置

预发布状态定义

为了保证平台的模型质量,我们针对所有贡献者设置为公开属性的模型,添加了“文件审核机制”,具体审核内容包括

  • 设置 tab 下的表格所有必填字段完成填写,且整体readme可以解析通过
  • 根目录下必须包含 README.md 文件,且此markdown 文件中必须包含>200个字符
  • 模型文件必须有权重文件和配置文件,即在根目录下至少包含一个以下格式的文件:.pdparams、.pdipaprams、.pdmodel、.safetensors、.bin、.ckpt、.npy。

若您设置模型权限为公开模型后,我们将自动将该模型标记为预发布状态,在预发布状态下,仅您自己可见并编辑该模型;待您编辑完成后,平台将尽快自动审核模型,上述文件均通过审核后,模型将自动公开发布,平台所有用户均可看到该模型。

上一篇
模型库概述
下一篇
大模型应用模型微调教程