快速导入deepseek V2模型
更新时间：2024-09-19
本平台支持您导入deepseek V2模型，需要您将模型文件上传至BOS平台，请您提前开通BOS。
基本信息
首先，需要您登录本平台，在左侧功能列选择我的模型，直接创建模型，填写下图所示的基本信息。
其中，模型类型要选择文本生成。
模型配置
- 进入模型配置模块，需要您在Bucket地址选择模型文件的文件夹，其余填写如下图所示：
其中，Prompt拼接规范选择选择平台预置，样例如下所示，具体填写配置可参考配置字段说明。
当前问题拼接规范:
[Round {round}]\n\n问：{question}\n\n答：
历史问答拼接规范:
[Round {round}]\n\n问：{question}\n\n答：{answer}\n\n
Prompt模版:
{input}
[Round {round}]\n\n问：{question}\n\n答：
历史问答拼接规范:
[Round {round}]\n\n问：{question}\n\n答：{answer}\n\n
Prompt模版:
{input}
- 拼接规范选择平台预置规范即可，并打开高级配置按钮，填写以下信息：
- 在选择上传py文件时，文件内容可参考以下内容，其他模型样例可查看自定义配置介绍。
# !/usr/bin/env python3
# -*- coding: utf-8 -*-
from transformers import AutoModelForCausalLM, GenerationConfig
import torch
def load_model(model_path, **kwargs):
max_memory = {i: "75GB" for i in range(8)}
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager")
model.generation_config = GenerationConfig.from_pretrained(model_path)
model.generation_config.pad_token_id = model.generation_config.eos_token_id
return model- 推理参数配置，选择默认即可，具体参数定义可查看推理参数配置。
- 以上内容填写完成，即可确认导入。
查看模型导入
1.在我的模型任务列，可查看到本模型。
- 选择操作列的详情按钮，即可查看本模型版本的导入状态，当状态为就绪时，则表示模型导入成功。
- 模型导入成功后的其他相关操作，您可查看查看与管理我的模型。