模型库
目录
模型库介绍
本篇文章介绍AI Studio模型库的产品功能、快速使用指南等。
关于AI Studio的模型库
飞桨AI Studio模型库是用户共享深度学习模型、demo演示等内容的地方,支持用户轻松地创建和管理自己的模型,同时可利用界面或开发环境来便捷地上传、体验相关模型文件,并进行二次开发。
名词解释
模型:是指一个具体的模型实例,包括模型网络结构和相应参数。
模型库:是指对模型进行存储、版本管理和相关操作的模型服务,用户上传和共享的模型将存储至AI Studio的模型库中,对于公开模型,支持所有用户浏览查看与体验;对于非公开模型则仅支持创建者编辑、查看与使用。
模型空间:是指模型相关的所有文件所在的 repo,与模型 ID 关联且唯一。
模型卡片:是指模型相关信息的展示,是社区用户获取模型信息的关键来源,主要通过解析模型文件中的README.md和YAML元数据获取。
模型下载与使用
AI Studio所有模型均支持快速体验,可通过点击快速体验 fork 模型文件进入开发环境进行二次开发。
AI Studio的模型后端通过git存储并实现版本管理。用户可以下载单个文件或模型相关所有文件。详细下载命令参考如下:
公开模型
git clone http://git.aistudio.baidu.com/${UserID}/${RepoName}.git
私有模型
git clone http://${Git Token}@git.aistudio.baidu.com/${UserID}/${RepoName}.git
创建自己的模型库
要创建模型,您首先需要成为 AI Studio 的注册用户。这之后您可以通过模型库首页的“创建模型”按钮:
或通过【个人中心-模型-创建的模型】中的“创建模型“按钮进入模型创建流程:
进入模型创建流程后主要分为三个步骤:
1)填写基础信息。基础信息包括您的模型名称、repo 名称、所有者、许可证类型、是否公开和模型描述。
- repo 名称作为您模型的唯一标识,在您个人模型空间范围内需唯一且仅支持英文字母、下划线、中划线和数字
- 许可证类型决定您的模型遵循对应的开源协议。
- 是否公开决定您的模型是否能被其他用户检索查看,若设置为非公开模型,则其他用户无法查看,仅您自己查看。您也可以创建后在设置页面进行权限的修改配置。
- 模型描述建议介绍您的模型的特性和应用场景,将展现在模型列表页方便用户搜索查询。
2)编辑模型卡片信息。模型卡片信息具体包括模型 README、模型标签信息。
-
第一步:编辑 README.md 文档。
若您已有 README 文档,可直接拖拽上传。若您没有 README 文档,系统将为您自动创建一个 README 文档,您可在模型介绍中看到模板内容,并点击编辑进行在线编辑。 为了让模型介绍更容易被理解和检索,我们推荐您按照模板进行书写。
系统将根据您上传的 README.md 文件进行解析,并展示在模型介绍页面:
- 第二步:编辑模型标签信息。进入编辑后通过完善相关选项即可生成模型标签,后续标签将作为用户快速筛选模型依据,建议根据实际情况仔细填写:
3)添加模型文件。目前平台支持通过以下三种方式添加文件:
- 方式一:使用AI Studio的web页面,上传相关模型文件。
目前平台仅支持大小不超过3M的文件,文件上传成功后即可在页面看见文件并预览文件内容。平台支持对一下文档类型进行在线预览查看: .md、.txt、.json、.py、.yaml、.yml、.gitattributes、.gitignore、.html、.bmp、.jpg、.jpeg、.png、Dockerfile、.sh。
- 方式二:使用 AI Studio的web 页面创建相关文件
选择“新建文件”后即可进入文件在线编辑页面,您可以通过在文件名称处输入文件路径创建文件夹及对应文件,并支持md 文件预览:
-
方式三:使用 git 命令添加文件
- 第一步,登录 AI Studio平台,在个人中心->访问令牌,拷贝GitToken
- 第二步,通过 git 命令上传相关文件,常见命令说明详见如下:
```
# 假设模型Owner的UserID是123,模型名称为hello-world
# 公开模型下载:
git clone http://git.aistudio.baidu.com/123/hello-world.git
# 私有模型下载,需要有模型权限
# 基于Git Token(可在个人中心-模型-查看访问令牌获取,参考第一步)
git clone http://${GitToken}@git.aistudio.baidu.com/123/hello-world.git
# 修改模型文件,并上传到仓库
cd hello-world/
# 修改文件
git add <已修改的文件>
git commit -m "修改描述"
git push
```
推荐上传模型相关文件,即:
- .pdparams——训练参数文件
- .pdipaprams——导出后参数文件
- .pdmodel——导出后模型结构文件
模型版本设置
为了确保平台开发环境和模型版本兼容性,模型必须有版本才能使用,我们通过git tag来作为模型的版本,对模型打 tag 命令详细说明如下:
git tag v1.0.0 -m "version comments"
git push origin v1.0.0
# v1.0.0您可以自行定义
预发布状态定义
为了保证平台的模型质量,我们针对所有贡献者设置为公开属性的模型,添加了“文件审核机制”,具体审核内容包括
- 设置 tab 下的表格所有必填字段完成填写,且整体readme可以解析通过
- 根目录下必须包含 README.md 文件,且此markdown 文件中必须包含>200个字符
-
模型文件必须有权重文件和配置文件,即在根目录下至少包含一个以下格式的文件:
- 预训练模型的权重文件格式 .pdparams
- 导出后的推理模型格式是.pdipaprams 和.pdmodel
若您设置模型权限为公开模型后,我们将自动将该模型标记为预发布状态,在预发布状态下,仅您自己可见并编辑该模型;待您编辑完成后,平台将尽快自动审核模型,上述文件均通过审核后,模型将自动公开发布,平台所有用户均可看到该模型。