模型训练Trainer使用说明

import os 
import qianfan

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"


# 如果希望打印过程日志，通过调用enable_log(logging.INFO)启用打印日志功能
#from qianfan.utils import enable_log
#import logging
#enable_log(logging.INFO)  # 设置打印日志的最低级别

from qianfan.dataset import Dataset
from qianfan.trainer import LLMFinetune

# 加载千帆ModelBuilder数据集，is_download_to_local=False表示不下载数据集到本地，而是直接使用
ds: Dataset = Dataset.load(qianfan_dataset_id="your_dataset_id", is_download_to_local=False)

# 新建trainer LLMFinetune，需最少传入train_type和dataset
# 注意fine-tune任务需要指定的数据集类型要求为有标注的非排序对话数据集。
trainer = LLMFinetune(
    train_type="ERNIE-xx",
    dataset=ds, 
)

trainer.run()

# 如果突发断电或者任务停止，可以使用resume函数重启任务
# trainer.resume()

import os 
import qianfan

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

# 如果希望打印过程日志，通过调用enable_log(logging.INFO)启用打印日志功能
#from qianfan.utils import enable_log
#import logging
#enable_log(logging.INFO)  # 设置打印日志的最低级别

from qianfan.dataset import Dataset
from qianfan.trainer import LLMFinetune
from qianfan.trainer.configs import TrainConfig

# 加载千帆ModelBuilder的数据集。
# qianfan_dataset_id是数据集id，类型要求为有标注的非排序对话数据集is_download_to_local=False表示不下载数据集到本地，直接使用
ds: Dataset = Dataset.load(qianfan_dataset_id="your_dataset_id", is_download_to_local=False)

# 发起训练任务。以基础模型ERNIE-xx为例，需要指定的数据集类型要求为有标注的非排序对话数据集。
trainer = LLMFinetune(
    train_type="ERNIE-xx",
    dataset=ds,
    peft_type="LoRA",
    # 自定义训练参数
    train_config=TrainConfig(
        epochs=1, # 迭代轮次（Epoch），控制训练过程中的迭代轮数。
        # batch_size=32, # 批处理大小（BatchSize）表示在每次训练迭代中使用的样本数。较大的批处理大小可以加速训练.部分模型可能无需填写该字段
        learning_rate=0.00004, # 学习率（LearningRate）是在梯度下降的过程中更新权重时的超参数，过高会导致模型难以收敛，过低则会导致模型收敛速度过慢，
    )
)

trainer.run()

# 如果突发断电或者任务停止，可以使用resume函数重启任务
# trainer.resume()

Dataset.load(qianfan_dataset_id="your_dataset_id", is_download_to_local=False)

LLMFinetune(
    train_type="ERNIE-xx" 
)

TrainConfig(
        epochs=1, 
        batch_size=32, 
        learning_rate=0.00004,
    )

from qianfan.trainer.configs import ModelInfoMapping

print(ModelInfoMapping['ERNIE-xx'])

short_name='xxx'
base_model_type='ERNIE-Lite-8K-0922'
support_peft_types=[<PeftType.ALL: 'ALL'>, <PeftType.LoRA: 'LoRA'>]
common_params_limit=TrainLimit(
    batch_size_limit=(1, 4),
    max_seq_len_options=[4096, 8192], epoch_limit=(1, 50),
    learning_rate_limit=(2e-07, 0.0002),
    log_steps_limit=None,
    warmup_ratio_limit=None,
    weight_decay_limit=None,
    lora_rank_options=None,
    lora_alpha_options=None,
    lora_dropout_limit=None,
    scheduler_name_options=None
)
specific_peft_types_params_limit={
    'ALL': TrainLimit(
        batch_size_limit=None,
        max_seq_len_options=None,
        epoch_limit=None,
        learning_rate_limit=(1e-05, 4e-05),
        log_steps_limit=None,
        warmup_ratio_limit=None,
        weight_decay_limit=None,
        lora_rank_options=None,
        lora_alpha_options=None,
        lora_dropout_limit=None,
        scheduler_name_options=None
    ),
    'LoRA': TrainLimit(
        batch_size_limit=None,
        max_seq_len_options=None,
        epoch_limit=None,
        learning_rate_limit=(3e-05, 0.001),
        log_steps_limit=None,
        warmup_ratio_limit=None,
        weight_decay_limit=None,
        lora_rank_options=None,
        lora_alpha_options=None,
        lora_dropout_limit=None,
        scheduler_name_options=None
    )
}

from qianfan.trainer.configs import DefaultTrainConfigMapping

print(DefaultTrainConfigMapping['ERNIE-xx'])

epoch=1
batch_size=None
learning_rate=3e-05
max_seq_len=4096
peft_type='LoRA'
trainset_rate=20
logging_steps=None
warmup_ratio=None
weight_decay=None
lora_rank=None
lora_all_linear=None
scheduler_name=None
lora_alpha=None
lora_dropout=None
extras={}