资讯 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

查询获取训练参数

功能介绍

查询获取训练参数。

请求示例

from qianfan.trainer.configs import ModelInfoMapping

print(ModelInfoMapping['ERNIE-Bot-turbo-0725'])

返回示例

short_name='turbo_0725'
base_model_type='ERNIE-Bot-turbo'
support_peft_types=[<PeftType.ALL: 'ALL'>, <PeftType.LoRA: 'LoRA'>]
common_params_limit=TrainLimit(
    batch_size_limit=(1, 4),
    max_seq_len_options=[4096, 8192], epoch_limit=(1, 50),
    learning_rate_limit=(2e-07, 0.0002),
    log_steps_limit=None,
    warmup_ratio_limit=None,
    weight_decay_limit=None,
    lora_rank_options=None,
    lora_alpha_options=None,
    lora_dropout_limit=None,
    scheduler_name_options=None
)
specific_peft_types_params_limit={
    'ALL': TrainLimit(
        batch_size_limit=None,
        max_seq_len_options=None,
        epoch_limit=None,
        learning_rate_limit=(1e-05, 4e-05),
        log_steps_limit=None,
        warmup_ratio_limit=None,
        weight_decay_limit=None,
        lora_rank_options=None,
        lora_alpha_options=None,
        lora_dropout_limit=None,
        scheduler_name_options=None
    ),
    'LoRA': TrainLimit(
        batch_size_limit=None,
        max_seq_len_options=None,
        epoch_limit=None,
        learning_rate_limit=(3e-05, 0.001),
        log_steps_limit=None,
        warmup_ratio_limit=None,
        weight_decay_limit=None,
        lora_rank_options=None,
        lora_alpha_options=None,
        lora_dropout_limit=None,
        scheduler_name_options=None
    )
}

参数说明

请求参数

名称 类型 描述
train_type string 模型版本,示例:ERNIE-Bot-turbo-0725,可以通过以下方法获取具体值:
千帆控制台-模型调优-SFT页面-点击创建训练任务,选择基础模型,查看模型版本,如下图所示:image.png

返回参数

名称 类型 默认值 描述
epoch int None 迭代轮次,迭代轮次,取值范围:[1, 50]
batch_size float None 批处理大小,说明:
(1)当trainType为ERNIE-Bot-turbo-0704、ERNIE-Bot-turbo-0725、ERNIE-Bot-turbo-0922或Baichuan2-13B,该字段不需要填写
(2)其他,batchSize取值范围:[1, 4]
learning_rate float None 学习率,说明:
(1)当trainType为ERNIE-Bot-turbo-0704, · peftType为ALL,learningRate取值范围[0.00001,0.00004] · peftType为P-tuning,learningRate取值范围[0.003,0.1] · peftType为LoRA,learningRate取值范围[0.00003,0.001]
(2)当trainType为ERNIE-Speed、ERNIE-Bot-turbo-0725或ERNIE-Bot-turbo-0922, · peftType为ALL,learningRate取值范围[0.00001,0.00004] · peftType为LoRA,learningRate取值范围[0.00003,0.001]
(3)当trainType为Baichuan2-13B或CodeLlama-7B,learningRate取值范围[0.0000000001,0.0002]
(4)其他,learningRate取值范围[0.0000002,0.0002]
max_seq_len int None 序列长度,说明:
(1)如果trainType为ERNIE-Speed、ERNIE-Bot-turbo-0725或ERNIE-Bot-turbo-0922时,该字段必填
(2)可选值如下: · 4096 · 8192
peft_type string None parameter efficient finetuning方式,说明:
(1)当jobRunType为0时,此字段必填
(2)当trainType为ERNIE-Speed、ERNIE-Bot-turbo-0725、ERNIE-Bot-turbo-0922、SQLCoder-7B、ChatGLM2-6B、Baichuan2-13B或CodeLlama-7B,peftType可选值如下: · ALL · LoRA
(3)其他,peftType可选值如下:
· ALL
· P-tuning
· LoRA参数调优方法, LoRA, P-tuning, ALL
trainset_rate float 20 数据拆分比例,取值范围:[0,50]
logging_steps int None 保存日志间隔,说明:
(1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,该字段必填
(2)取值范围[1, 100]
warmup_ratio float None 预热比例,说明:
(1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,该字段必填
(2)取值范围[0.01, 0.5]
weight_decay float None 正则化系数,说明:
(1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,该字段必填
(2)取值范围[0.0001, 0.1]
lora_rank int None LoRA 策略中的秩,说明:
(1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,且peftType为LoRA时,该字段必填
(2)可选值如下:
· 2
· 4
· 8
lora_all_linear string None LoRA 所有线性层,说明:
(1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,且peftType为LoRA时,该字段必填
(2)可选值如下:
· True
· False
scheduler_name string None 用于学习率计划例如linear, cosine, polynomial等具体内容,参考查询模型训练参数限制
lora_alpha int None LoRA 缩放参数
lora_dropout float None LoRA 暂退率
extras Dict[str, Any] {} 其他参数字典,保留值