将HuggingFace模型下载到BOS
更新时间：2025-04-22
背景
传统开源模型导入千帆平台需用户手动完成以下流程：
- 从开源社区（如Hugging Face）下载模型
- 上传至百度对象存储（BOS）
- 在千帆平台进行配置
现通过集成百度百舸平台的数据下载模块，用户只需提供Hugging Face模型地址即可实现：
- 一键式模型下载与存储
- 高速传输（基于百度智能云加速网络）
- 自动化BOS存储配置
权限要求
最小权限原则
- 基础权限：
IAMFullControlAccessPolicy（全控制策略） -
推荐实践：
- 主账号管理员集中下载模型至BOS
- 通过BOS权限系统实现子用户共享
- 避免为每个子用户分配全控制权限
操作指南
1. 访问数据下载模块
登录百度百舸控制台，进入数据下载模块。
2. 创建模型下载任务
点击【创建数据集/模型】按钮，选择模型下载模式。
3. 配置下载参数
| 参数项 | 示例值 | 说明 |
|---|---|---|
| 创建内容 | 模型 | 固定选择"模型" |
| 名称 | Qwen2.5-0.5B-Instruct | 自定义标识名称 |
| 创建方式 | 从开源社区下载 | 选择自动下载模式 |
| 开源模型 | Qwen/Qwen2.5-0.5B-Instruct | Hugging Face模型路径 |
| 存储信息 | Qwen2.5-0.5B-Instruct | BOS存储路径标识 |
4. 任务执行
- 成功提交后系统自动开始下载
- 可在任务列表查看实时状态
5. 验证存储结果
登录BOS控制台检查下载内容：
高级功能
重复性校验
系统自动检测已存在的模型文件，避免重复下载：
多级路径支持
支持BOS多级目录结构配置，示例：
bos://modelzoo-mb/huggingface/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B- Bucket:
modelzoo-mb - 对象路径:
huggingface/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
