资讯 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

模型的上传

引言

飞桨 AI Studio 模型文件上传共有以下四种方式:

  • 使用 Git 命令上传文件(推荐)
  • 使用 Python SDK 命令上传文件
  • Web 页面上传文件
  • Web 页面创建相关文件

1. 使用 Git 命令上传文件

1.1 获取 Token

点此获取Token

登录飞桨AI Studio,在左下角“我的工作”->令牌,可以查看并拷贝Access Token

1.2 通过 Git 命令上传文件

常见命令说明详见如下:

# 请确认已经安装git-lfs (https://git-lfs.com)
git lfs install

# 首先使用git克隆远程仓库到本地,需要填写Access Token(位置在我的工作台--令牌获取)和repo_id(模型详情页面中)
# 示例:git clone https://6b27a165b0851ae4651fbc5fe0902e2cd17@git.aistudio.baidu.com/aistudio/ERNIE-X1.git
git clone https://{token}@git.aistudio.baidu.com/{repo_id}.git

# 进入本地的git仓库目录,如 cd ERNIE-X1/
cd "模型名称"/
# 添加修改过的文件到暂存区,如 git add README.md 添加指定的README.md文件,或 git add . 添加所有修改文件
git add "已修改的文件"
# 将暂存区的修改文件提交到本地仓库,并附带一条简短的提交说明,如 git commit -m "添加README.md文件"
git commit -m "修改描述"
# 推送到远程仓库
git push

2. 使用 Python SDK 命令上传文件

aistudio-sdk 库可帮助您在不离开开发环境的情况下与 Hub 进行交互。您可以轻松创建和管理您的个人仓库,下载和上传文件,并从 Hub 获得有用的模型和相关元数据。

2.1 安装 aistudio-sdk 库

pip install --upgrade aistudio-sdk

2.2 仓库创建与文件操作

2.2.1 创建仓库

使用 create_repo( ) 创建一个空仓库,并使用 repo_id 参数为其命名,此参数由仓库所有者的英文昵称和模型英文名组成 (user_name/model_name_en),可在模型详情页查看并复制。

repo_id 查看复制示意

import os
os.environ["AISTUDIO_ACCESS_TOKEN"] = "INPUT_YOUR_AISTUDIO_TOKEN"
from aistudio_sdk.hub import create_repo

res = create_repo(
    repo_id='myrepoid',
    model_name='mymodelname',
    desc='mydesc',
    private=False,
    license='Apache License 2.0'
)
print(res)

2.2.2 文件上传

import os
os.environ["AISTUDIO_ACCESS_TOKEN"] = "INPUT_YOUR_AISTUDIO_TOKEN"
from aistudio_sdk.hub import upload

res = upload(
    repo_id='myname/myrepoid',
    path_or_fileobj='mydir/my file.txt',
    path_in_repo='dir1/dir2/my cloud file.txt'
    # 填写commit信息,非必填
    commit_message='upload model file to repo'
)
print(res)

2.2.3 检查文件是否存在

import os
os.environ["AISTUDIO_ACCESS_TOKEN"] = "INPUT_YOUR_AISTUDIO_TOKEN"
from aistudio_sdk.hub import file_exists

res = file_exists(
    'myname/myrepoid',
    'mydir/my file.txt',
    revision='mybranch'
)
print(res)

3. Web 页面上传文件

3.1 模型空间上传文件

3.2 网页上传

说明

  1. 目前平台支持单次最多上传10个文件,且通过网页方式上传的文件总体积不超过500MB,文件上传成功后即可在页面看见文件并预览文件内容。
  2. 平台支持对以下文档类型进行在线预览查看: .md、.txt、.json、.py、.yaml、.yml、.gitattributes、.gitignore、.html、.bmp、.jpg、.jpeg、.png、Dockerfile、.sh。

4. Web 页面创建相关文件

4.1 模型空间新建文件

4.2 文件在线编辑

可以通过在文件名称处输入文件路径创建文件夹及对应文件,并支持 md 文件预览(需设置文件名为 .md):

注意事项

  • 特别注意不要混用 ~波浪线 与 /Users/${your_username}。已测得在特殊情况下,会报错本地文件已存在,导致进程不成功。不同版本的python,表现情况也不同,请尽可能使用绝对路径。
  • 通过网页方式上传,文件总体积不超过500M。上传大文件(git-fls)限5G。超过5G的文件,可以使用 aistudio-sdk 的 upload 进行上传

附录

  • 推荐上传的模型文件:
类别 文件后缀
训练参数文件 .pdparams
导出后参数文件 .pdipaprams
导出后模型结构文件 .pdmodel
模型参数文件 .safetensors、.bin、.ckpt
  • 不允许上传的文件:
类别 文件后缀
可执行程序类 .exe, .msi, .com, .dll, .jar, .apk
脚本文件类 .bat, .sh, .cmd, .js, .vbs, .ps1
图像类 .jpg, .jpeg, .png, .gif, .bmp, .svg
音视频类 .mp3, .wav, .flac, .mp4, .avi, .mov, .wmv
网页相关类 .html, .htm, .css
数据库类 .sql, .db
系统镜像类 .iso, .img
临时/日志类 .log, .bak, .tmp, .swp
下载链接类 .torrent
压缩包 .zip, .rar, .7z, .tar, .tar.gz
  • 常用参数说明如下:
参数名称 参数说明 数据类型
token Git token 访问令牌 string
repo_id 仓库名称 string
model_name 模型名称,默认值为仓库名称 string
desc 仓库描述 string
private 公开或者私密:True 私密,False 公开 bool
license 开源协议 string
filename 下载目标文件名路径,例如 "path/file1.txt" string
path_or_fileobj 待传的本地文件名路径,例如 "/Users/myname/Downloads/README.md" string
path_in_repo 上传到仓库里的路径,例如 "mydir/README.md",如填写 "README.md",则会在master分支的根目录内,上传README.md string
revision 分支,例如master string
上一篇
模型的下载
下一篇
大模型应用模型微调教程