查询获取训练参数
更新时间:2025-04-18
功能介绍
查询获取训练参数。
请求示例
from qianfan.trainer.configs import ModelInfoMapping
print(ModelInfoMapping['ERNIE-Bot-turbo-0725'])
返回示例
short_name='turbo_0725'
base_model_type='ERNIE-Bot-turbo'
support_peft_types=[<PeftType.ALL: 'ALL'>, <PeftType.LoRA: 'LoRA'>]
common_params_limit=TrainLimit(
batch_size_limit=(1, 4),
max_seq_len_options=[4096, 8192], epoch_limit=(1, 50),
learning_rate_limit=(2e-07, 0.0002),
log_steps_limit=None,
warmup_ratio_limit=None,
weight_decay_limit=None,
lora_rank_options=None,
lora_alpha_options=None,
lora_dropout_limit=None,
scheduler_name_options=None
)
specific_peft_types_params_limit={
'ALL': TrainLimit(
batch_size_limit=None,
max_seq_len_options=None,
epoch_limit=None,
learning_rate_limit=(1e-05, 4e-05),
log_steps_limit=None,
warmup_ratio_limit=None,
weight_decay_limit=None,
lora_rank_options=None,
lora_alpha_options=None,
lora_dropout_limit=None,
scheduler_name_options=None
),
'LoRA': TrainLimit(
batch_size_limit=None,
max_seq_len_options=None,
epoch_limit=None,
learning_rate_limit=(3e-05, 0.001),
log_steps_limit=None,
warmup_ratio_limit=None,
weight_decay_limit=None,
lora_rank_options=None,
lora_alpha_options=None,
lora_dropout_limit=None,
scheduler_name_options=None
)
}
参数说明
请求参数
名称 | 类型 | 描述 |
---|---|---|
train_type | string | 模型版本,示例:ERNIE-Bot-turbo-0725,可以通过以下方法获取具体值: 在千帆控制台-模型调优-SFT页面-点击创建训练任务,选择基础模型,查看模型版本,如下图所示: ![]() |
返回参数
名称 | 类型 | 默认值 | 描述 |
---|---|---|---|
epoch | int | None | 迭代轮次,迭代轮次,取值范围:[1, 50] |
batch_size | float | None | 批处理大小,说明: (1)当trainType为ERNIE-Bot-turbo-0704、ERNIE-Bot-turbo-0725、ERNIE-Bot-turbo-0922或Baichuan2-13B,该字段不需要填写 (2)其他,batchSize取值范围:[1, 4] |
learning_rate | float | None | 学习率,说明: (1)当trainType为ERNIE-Bot-turbo-0704, · peftType为ALL,learningRate取值范围[0.00001,0.00004] · peftType为P-tuning,learningRate取值范围[0.003,0.1] · peftType为LoRA,learningRate取值范围[0.00003,0.001] (2)当trainType为ERNIE-Speed、ERNIE-Bot-turbo-0725或ERNIE-Bot-turbo-0922, · peftType为ALL,learningRate取值范围[0.00001,0.00004] · peftType为LoRA,learningRate取值范围[0.00003,0.001] (3)当trainType为Baichuan2-13B或CodeLlama-7B,learningRate取值范围[0.0000000001,0.0002] (4)其他,learningRate取值范围[0.0000002,0.0002] |
max_seq_len | int | None | 序列长度,说明: (1)如果trainType为ERNIE-Speed、ERNIE-Bot-turbo-0725或ERNIE-Bot-turbo-0922时,该字段必填 (2)可选值如下: · 4096 · 8192 |
peft_type | string | None | parameter efficient finetuning方式,说明: (1)当jobRunType为0时,此字段必填 (2)当trainType为ERNIE-Speed、ERNIE-Bot-turbo-0725、ERNIE-Bot-turbo-0922、SQLCoder-7B、ChatGLM2-6B、Baichuan2-13B或CodeLlama-7B,peftType可选值如下: · ALL · LoRA (3)其他,peftType可选值如下: · ALL · P-tuning · LoRA参数调优方法, LoRA , P-tuning , ALL |
trainset_rate | float | 20 | 数据拆分比例,取值范围:[0,50] |
logging_steps | int | None | 保存日志间隔,说明: (1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,该字段必填 (2)取值范围[1, 100] |
warmup_ratio | float | None | 预热比例,说明: (1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,该字段必填 (2)取值范围[0.01, 0.5] |
weight_decay | float | None | 正则化系数,说明: (1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,该字段必填 (2)取值范围[0.0001, 0.1] |
lora_rank | int | None | LoRA 策略中的秩,说明: (1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,且peftType为LoRA时,该字段必填 (2)可选值如下: · 2 · 4 · 8 |
lora_all_linear | string | None | LoRA 所有线性层,说明: (1)当trainType为ERNIE-Speed或ERNIE-Bot-turbo-0922,且peftType为LoRA时,该字段必填 (2)可选值如下: · True · False |
scheduler_name | string | None | 用于学习率计划例如linear , cosine , polynomial 等具体内容,参考查询模型训练参数限制 |
lora_alpha | int | None | LoRA 缩放参数 |
lora_dropout | float | None | LoRA 暂退率 |
extras | Dict[str, Any] | {} | 其他参数字典,保留值 |